Deep Learning 응용 기술 방법
FLIR
머신비전 시스템은 다양한 조건에 따라 자동으로 동적인 결정을 내릴 것으로 기대된다. 오늘날 딥 러닝(deep learning)의 도래는 많은 사람이 접근할 수 있는 자동화를 제공한다. 또한 오픈 소스 라이브러리, Nvidia 하드웨어 그리고 FLIR 카메라 등의 리소스가 변화를 일으키고 있다. FLIR 카메라는 신경 네트워크 교육에 필요한 이미지 전처리(pre-processing)를 최소화하고, NVidia Jetson TX-2와 Drive PX 2 등에서 원활히 작동하고 문제없는 배포를 위해 신뢰성을 제공하는 고급 기능을 갖췄다.
1. 딥 러닝이란 무엇인가?
딥 러닝은 입력 노드와 출력 노드 사이에 ‘심층’ 레이어가 많이 있는 신경망을 사용하는 기계 학습 형태이다. 대규모 데이터 세트에서 네트워크를 교육하면, 입력 데이터를 바탕으로 정확한 예측을 수행하는 데 사용할 수 있는 모델이 만들어진다.
딥 러닝을 위해 사용되는 신경 네트워크에서, 각 레이어의 출력은 다음 레이어의 입력 앞으로 전달된다. 모델은 계층 간 연결의 가중치를 변경해 반복적으로 최적화된다. 각 주기마다 모델의 예측 정확도에 대한 피드백을 사용해 연결 가중치의 변경을 안내한다.
딥 러닝은 전통 비전 애플리케이션에 매우 복잡했던 공정을 자동화함으로써 모든 산업을 변화시키고 있다. 사용하기 쉬운 프레임 워크, 저렴하고 빠른 GPU(Graphics Processing Unit) 하드웨어, 클라우드 컴퓨팅 플랫폼을 통해 누구나 딥 러닝에 접근할 수 있다.
2. 왜 딥 러닝을 지금 시작하는가?
2.1. GPU 가속 하드웨어 : 더 많은 전력, 더 적은 비용
많은 공정을 써서 병렬 계산 집합을 수행하는 GPU 아키텍처는 심층 학습 시스템에 이상적이다. Nvidia를 꾸준히 개발해서 GPU 가속 컴퓨팅 플랫폼의 전력과 효율성 및 경제성이 크게 향상됐다.
이 기술은 Jetson TX1와 TX2 기반 소형 임베디드 시스템, GTX 1080과 같은 PC GPU, Nvidia DGX-1, Drive PX 2 등의 전용 AI 플랫폼 등의 다양한 폼 팩터에서 사용할 수 있다.
2.2. 딥 러닝 프레임 워크의 자유
Google의 TensorFlow와 Caffe, Torch와 Theano 등의 오픈 소스 패키지를 포함한 C++ 래퍼를 통해, 사용자는 자신의 심층 신경망(DNN, Deep Neural Networks)을 신속히 구축하고 교육할 수 있다. 범용 TensorFlow는 Caffe의 GPU 최적화가 Jetson TX1과 TX2에서 배포를 위한 탁월한 선택이 될 좋은 출발점이다.
Nvidia CUDA 딥 신경 회로망(cuDNN) 라이브러리는 개발자에게 일반적인 딥 러닝 기능을 고도로 최적화된 방식으로 구현해 플랫폼을 더욱 능률적으로 개발한다.
2.3. 가격 개선, 리드 타임 단축
이산형 표준 카메라와 임베디드 플랫폼을 쓸 수 있다. 그러므로 교통 시스템 설계자는 시스템을 프로젝트에 맞게 조정할 수 있다. 별도의 카메라와 프로세싱 하드웨어를 사용하면 각 구성 요소에 대해 간단하고 독립적인 업그레이드 경로를 사용할 수 있다.
3. 여러 애플리케이션
딥 러닝에는 다른 애플리케이션이 여럿 있다. 딥 러닝은 광범위한 문제를 해결할 수 있다. 즉 의사가 CT 스캔을 더 정확하게 해석하는 것부터, 자동 텍스트 번역과 교통 흐름 최적화에 이르기까지 도움을 준다. 딥 러닝은 자동 광학 검사 시스템(AOI, automated optical inspection systems) 설계자에게 강력한 도구이다. ViDi Red처럼 학습 기능이 강화된 AOI 소프트웨어는, 결함 여부를 감지하고 허용되는 유사 콘텐츠를 인식하는 방법을 학습할 수 있다.
딥 러닝 시스템에 대한 지속적인 교육을 통해 변화하는 환경에 대응할 수 있다. 여기에 이름 지어진 회사는 자율 차량에 심층적인 학습 매핑 시스템을 배치하기 위해 노력하고 있다. 그들의 기술은 10-20cm의 해상도로 지속적으로 업데이트된 지도를 생성한다. 딥 러닝이 사용된 HERE지도는 고정된 물체의 정확한 위치(예 : 광고판)와 건설 작업 때문에 발생한 일시적인 운전 장애물을 포함한다.
4. 시스템 구현 방법
4.1. 교육 데이터 수집
디자이너는 배치 전에 딥 러닝 모델을 교육해야 한다. 고품질의 교육 데이터는 정확한 결과를 얻는 데 필수적이다. 고성능 카메라는 시각적 입력을 바탕으로 의사 결정을 내리는 시스템에 최상의 교육 이미지를 제공한다.
카메라 영상 처리는 교육 이전에 필요한 데이터 정규화를 단순화한다. 자동 알고리즘, 선명화, 픽셀 형식 변환, FLIR의 고급 디베이어링(debayering), 색상 보정 매트릭스에 대한 정밀한 제어와 같은 카메라 기능은 이미지를 최적화 한다.
움직이는 피사체를 이미지화하는 애플리케이션은 글로벌 셔터 센서가 모든 픽셀을 동시에 읽는다. 또한 판독 공정 중에 피사체가 움직이면서 발생하는 왜곡을 제거한다. 많은 FLIR 머신비전 카메라는 Sony Pregius 글로벌 셔터 CMOS 센서를 사용한다. 72dB의 다이나믹 레인지와 3e- 읽기 노이즈 미만으로 밝은 조명과 음영 영역의 디테일을 동시에 캡처할 수 있으며 우수한 저조도 성능을 제공한다.
4.2. 특수 하드웨어를 통한 교육
충분한 교육 자료가 수집되면 모델을 교육해야 한다. 이 공정을 신속하게 진행하려면 하나 이상의 CUDA 지원 GPU가 있는 PC 또는, Nvidia DGX-1과 같은 특수 AI 학습 하드웨어를 사용할 수 있다. 딥 러닝을 전문으로 하는 클라우드 컴퓨팅 플랫폼도 사용할 수 있다.
4.3. 임베디드 시스템에 배포
딥 러닝 모델에 대한 교육이 완료되면 현장에 배치해야 한다. GPU 가속 임베디드 플랫폼은 공간과 전력 요구 사항이 기존 PC를 배제하고 제한된 인터넷 연결성을 요구하는 애플리케이션을 가능하게 한다. 이 시스템은 ARM 프로세서 아키텍처를 바탕으로 하며 대개 Linux 기반 OS에서 실행된다.
많은 산업 애플리케이션은 둘 이상의 카메라가 있는 시스템에 의존한다. FLIR 머신비전 카메라를 사용하면, 시스템 설계자는 GPIO 또는 소프트웨어를 통해 여러 대의 카메라를 정확하게 트리거(trigger)할 수 있다. IEEE 1588 PTP(Precision Time Protocol)를 사용하면, 사용자 시간 감시 없이 일반 시간이나 GPS 시간 신호에 카메라 시계를 동기화할 수 있다. 멀티 카메라 시스템의 MTBF는, 모든 추가 카메라마다 감소한다. 그렇기 때문에 견고한 시스템을 구축하는 데 매우 중요하다. FLIR 머신비전 카메라의 설계와 실험은 연중무휴의 신뢰성을 보장하고 중단 시간과 유지보수를 최소화한다.
Nvidia Jetson TX1과 TX2는 USB 3.1 Gen 1 및 GigE 비전 카메라를 지원하는 효율적인 GPU 가속 내장형 플랫폼이다. 특수화된 Jetson 캐리어 보드는 I/O 연결과 애플리케이션별 기능을 제공한다. SmartCow TERA+는 관리 스위치와 RS-232 및 RS-485 직렬 통신을 사용해 최대 8개의 GigE 카메라를 지원한다.
SmartCow는 TERA+ 하드웨어에서 딥 러닝용 비전 애플리케이션의 설계와 배포를 간소화하는 Caffe 래퍼를 제공한다.
Connect Tech Cogswell Carrier는 USB 3.1 Gen 1과 PoE(Power Over Ethernet) GigE 카메라를 지원한다.
Nvidia Drive PX 2는 파스칼 GPU 코어 두 개를 바탕으로 하는 개방형 자동차 AI 플랫폼이다. 8개의 TFLOPS가 가능한 Drive PX 2는 Macbook Pro 150개와 동등한 컴퓨팅 성능을 제공한다. 드라이브 PX 2는 자율 차량 안내를 위한 딥 러닝 애플리케이션을 지원한다. USB 3.1 Gen1과 GigE 비전 카메라 외에도 자동차 GMSL 카메라 인터페이스를 사용하는 카메라용 입력 단자가 있다.
자료 제공 : FLIR(www.flir.com)
