데이터 중심 접근 방식의 딥러닝 개발도구 ‘Deep Learning Studio’

오늘날 딥 러닝 알고리즘은 널리 보급되었으며 상대적으로 실행하기가 쉽다. 게다가 하나의 새로운 머신 비전 도구로서 다양한 유형의 산업 및 프로세스(제약, 식품, 원자재, 반도체 산업 등)에서 품질 보증 및 효율성을 달성하는데 그 잠재력을 보여주었다. 기존의 머신 비전 접근 방식으로는 목표를 달성할 수 없거나 어려운 경우, 딥 러닝 알고리즘에 의해 도달되었다. 

그러나 딥 러닝을 기반으로 하는 새로운 애플리케이션을 개발하는 것은 여전히 중요한 과제이다. 예를 들어, 최신 딥 러닝 모델이나 알고리즘을 사용하는 것만으로는 문제가 모두 해결되지 않는 경우도 있다. 딥 러닝 알고리즘을 기반으로 성공적인 애플리케이션을 개발할 수 있는 기회를 극대화하려면 데이터 중심 접근(data centric approach) 방식을 따르는 것이 좋다.

데이터 중심 접근 방식은 데이터를 수집하고 처리하여 먼저 문제를 해결하고 데이터를 적절하게 관리하여 추적할 수 있는 시스템을 갖추어야 함을 의미한다. 딥 러닝 애플리케이션에서 데이터가 처리하려는 입력 이미지로는 제한되지 않는다. 즉 이미지에서 예측하려는 데이터이며, 최상의 모델을 비교하고 선택하는 데 사용할 학습 세션의 결과이다. 이미지를 특성화 하는 모든 메타데이터(ROI, 마스크 등), 사용 방법(데이터 세트 분할) 및 학습 수행 방법(데이터 확대 설정, 모델 설정 등)이다.

이것은 머신 비전 소프트웨어 산업이 고객이 딥 러닝 애플리케이션의 문제를 극복할 수 있도록 돕기 위해 취하는 주요 방향 중 하나이다. 예를 들어 Euresys Deep Learning Studio 애플리케이션은 데이터를 관리하고 주석을 달고 Euresys Open eVision 라이브러리와 함께 사용할 수 있는 딥 러닝 모델을 학습하기 위한 그래픽 도구이다. 무료 데스크톱 애플리케이션으로, 비용을 지불하지 않고 온라인 서비스를 사용하기 위해 인터넷을 통해 기밀 이미지를 보내지 않고도 데이터로 무엇을 할 수 있는지 직접 작업하고 확인할 수 있다.

새로운 딥 러닝 애플리케이션을 다룰 때 첫 번째 단계는 이미지에서 예측하려는 것을 선택하는 것이다. 이미지 크기, 이미지에서 감지하려는 요소 수, 요소가 겹칠 수 있는지 여부, 필요한 정밀도 수준 등과 같은 다양한 기준을 적용할 수 있다.

Deep Learning Studio에는 ▲이미지 분류를 위한 EasyClassify ▲양호한 이미지에서만 학습된 이상 탐지를 위한 EasySegment Unsupervised ▲ 정확한 픽셀 수준 분할을 위한 EasySegment Supervised ▲요소의 현지화 및 식별을 위한 EasyLocate Bounding Box ▲동일한 크기를 가진 요소의 현지화 및 식별을 위한 다양한 크기 및 EasyLocate Interest Point 등 5가지 유형의 딥 러닝 도구가 있다.

<그림1> 딥 러닝 선택에 영향을 미치는 기준

데이터에 가장 적합한 도구를 선택하는 것이 중요하다. 커피 원두의 오염 물질 검사를 살펴본다. 세그멘터 도구인 EasySegment 는 오염 물질의 유무를 감지할 수 있을 뿐만 아니라 오염을 방지하기 위해 다른 프로세스에서 제거해야 하므로 이미지 내에서 오염 물질 또는 공정 기계의 과도한 마모의 위치와 표면적을 제공하기 위해 유지된다.

<그림2> 커피 원두의 오염 물질 검사

다음 단계는 이미지를 수집하고 주석을 추가하는 것이다. Deep Learning Studio와 같은 도구는 데이터 세트에 이미 있는 이미지와 주석이 달린 이미지를 추적하는 데 도움이 된다. 이미지에 주석을 추가할 때 일관성을 우선시하는 것이 좋다. 예를 들어 커피 데이터 세트의 경우 이물질의 크기가 생산 라인에서 문제를 일으킬 만큼 충분히 큰 경우에만 이물질을 결함으로 간주할 수 있다. 이 경우 학습 데이터의 일관성을 보장하기 위해 크기에 관계없이 모든 외부 개체에 여전히 주석을 달아야 한다. 이물질의 거부 또는 수락 여부는 결과에서 이물질의 크기를 분석하여 결정된다.

<그림3> 주석의 일관성은 매우 중요하다

Deep Learning Studio에서는 많은 고급 머신 학습 모범 사례 및 개념이 투명하게 통합되거나 애플리케이션 워크플로우의 일부가 된다. 예를 들어, 데이터 밸런싱은 각 레이블에 대한 이미지 수가 매우 다를 때 모델을 올바르게 교육하는 것이다. 이것은 양호한 샘플의 수가 불량 샘플의 수보다 몇배 더 클수있는 결함감지 응용 프로그램에서 특히 중요하다. 데이터 밸런싱은 ‘레이블 가중치’라는 레이블당 단일 매개변수를 통해 Deep Learning Studio의 핵심에 통합된다. 따라서 데이터 밸런싱 기술의 모든 복잡성이 자동으로 처리된다. 이러한 종류의 통합은 교육을 더 원활하게 만들고 오류 발생 가능성을 줄인다.

또 다른 예는 데이터 세트 분할이다. 학습 결과가 견고하고 아직 보지 않은 새로운 이미지에 적용될 수 있는지 확인하는 것은 머신 러닝에서 좋은 방법이다. 이미지를 ‘트레이닝 세트’, ‘검증 세트’ 및 ‘테스트 세트’의 세 가지 하위 집합으로 분리하는 것으로 구성된다.

‘학습 세트’에는 신경망을 직접 학습시키는 데 사용할 이미지가 포함되어 있다. ‘검증 세트’에는 학습 중에 최상의 신경망을 선택하는 데 사용될 이미지가 포함되어 있다. ‘테스트 세트’에는 학습 중에는 절대 사용되지 않지만 나중에 학습된 모델이 새 이미지에서 잘 수행되는지 확인하는 데 사용되는 이미지가 포함되어 있다. 일반적으로 ‘트레이닝 세트’는 ‘검증 세트’보다 더 많은 이미지를 포함한다.

그러나 이미지를 얻는 것이 복잡할 수 있는 머신 비전 애플리케이션에서는 모든 이미지 수와 다른 분할이 결과에 영향을 미칠 수 있다. 예를 들어 드문 결함이 데이터 세트의 몇 개의 이미지로만 표시되고 이러한 이미지가 모두 테스트 세트에 배치되는 경우 모델은 이 결함에 대해 아무것도 학습할 수 없다. 따라서 이러한 데이터 세트 분할을 생성, 추적 및 관리할 수 있는 도구를 갖추는 것이 중요하다. Deep Learning Studio에서는 데이터셋의 주석이 나 모델의 학습과 같은 수준으로 애플리케이션의 워크플로에 통합된다.

이미지를 관리하고, 모델을 교육하고, 결과를 분석할 수 있는 프로그램을 통해 고급 반복 모델 및 데이터 세트 구축이 가능하다. 실제로 복잡한 문제는 딥 러닝 모델을 작동시키기 위해 많은 이미지가 필요할 수 있다. 부분적으로는 어떤 이미지가 신경망에 어려운 문제일지 미리 알 수 없기 때문이다.

예를 들어, Deep Learning Studio에서 사용할 수 있는 커피 검사 데이터 세트의 경우, 먼저 이미지의 10~20%에만 주석을 달고 이에 대한 모델을 교육함으로써 이미 이미지의 30%에 대해 올바른 결과를 출력하는 EasySegment Supervised 모델을 얻을 수 있다. 나머지 30%에 대해서는 대부분 올바른 결과를 얻는다. 결국 이미지의 40~50%만 수동으로 완전히 주석을 단다. 다른 모든 주석은 중간 딥 러닝 모델에 의해 직접 생성되었거나 충분히 좋은 결과에서 채택된다.

<그림4> Deep Learning Studio에서 버튼 클릭 한 번으로 올바르게 예측된 결과를 실측 값으로 가져올 수 있다.

물론, 머신 비전 애플리케이션을 해결하기 위해 딥 러닝 기술을 사용하는 문제는 데이터 관리에만 국한되지 않는다. 필요한 성능 또는 처리 시간에 도달하기 위해 신경망 아키텍처를 설계하거나 선택하는 것은 복잡할 수 있다. Euresys Open eVision과 같은 머신 비전 라이브러리는 머신 비전 산업에서 발생하는 일반적인 문제에 최적화된 맞춤형 설계 신경망을 제안한다.

생산에 딥 러닝 모델을 배포하는 것 역시 어려운 문제일 수 있다.

• 딥 러닝 모델을 프로그램에 통합

• 서로 다른 플랫폼(Windows/Linux, x86/ARM/GPU)에서 일관되게 작동하도록 보장

• 딥 러닝 모델을 다른 머신 비전 작업과 결합

여기에서 Euresys Open eVision과 같은 모든 기능을 갖춘 산업용 머신 비전 라이브러리가 탁월하다. 여러 프로그래밍 언어에 사용할 수 있는 API를 사용하면 애플리케이션에서 코드 판독기 또는 기존 패턴 찾기와 함께 딥 러닝 알고리즘을 통합할 수 있다. 종속성을 줄여 애플리케이션의 유지 관리 및 발전을 단순화하는 것이다. 예를 들어 커피 원두의 이물질 검사를 위한 딥 러닝 모델은 512x512 이미지에 대해 10fps로 실행되는 NVIDIA Jetson Xavier NX 기반 스마트 카메라에 10줄 미만의 코드로 배포된다.

결론적으로, 데이터가 모든 딥 러닝 기반 애플리케이션의 핵심이며 데이터를 관리하고 딥 러닝 알고리즘으로 작업하는 도구가 좋은 결과를 얻는 데 가장 중요하다는 것이 확인된 것이다. Euresys Open eVision 라이브러리 및 Deep Learning Studio 프로그램은 이런 방법론으로 구현된 솔루션이다. 

자료제공: Euresys(www.euresys.com)