IoT 애플리케이션용 임베디드 비전 솔루션, 이미지 데이터 효과적으로 분류
Basler
사물인터넷(IoT)은 다양한 종류의 센서(특히 이미징 센서)와 클라우드를 스마트하게 연결해준다. 사물인터넷에서는 센서 데이터가 평가되고 지능적인 결정이 내려지며, 이를 통해 추가 워크플로를 시작할 수 있다. 또한 센서에 대한 펌웨어 업데이트를 설치하거나 새로운 작업을 위해 센서를 준비하는 등 클라우드에서 센서에 서비스를 제공할 수도 있다.
Basler는 2019년 임베디드 월드 트레이드 쇼(Embedded World Trade Show 2019)에서 라이브 데모를 통해 임베디드 솔루션을 이미지 데이터 분류를 위한 효율적이고 지능적인 센서로 활용할 수 있는 방법을 제시했다.
1. 개요
후속 분류를 위해 카메라로 이미지 데이터를 캡처하는 작업은 점점 더 많은 애플리케이션에서 중요한 역할을 수행하고 있다. 가장 간단한 시나리오에서는 이미지 데이터를 클라우드로 전송한 다음 분류를 위한 분석을 시작할 수 있다. 하지만 카메라와 같은 IoT 센서는 일반적으로 매우 낮은 대역폭으로 클라우드에 연결되므로, 방대한 양의 이미지 데이터를 전송할 경우 프로세스가 느려질 수 있다.
이러한 병목 현상은 낮은 카메라 프레임 속도 또는 극단적인 이미지 데이터 압축으로 해결할 수 있다. 그러나 많은 경우, 두 가지 모두 만족스러운 해결책이 되지 못한다. 예를 들어 프레임 속도가 낮을 경우 센서가 중요한 이벤트를 놓칠 수 있으며, 효율적인 데이터 압축의 경우에는 이미지 정보가 손실될 수 있다. 뿐만 아니라 고도로 압축된 데이터에서도 가용 대역폭이 충분하지 않을 수 있다. 이는 이미지를 캡처하는 시점과 클라우드에 이미지가 도착하는 시점 사이의 지연 시간으로 인해 더욱 악화되므로 이러한 이벤트에 신속하게 대응하기란 매우 어렵다.
2. 솔루션
한 가지 흥미로운 접근 방식은 이미지 데이터 분석(예: 일부 이미지의 특징 분석)을 ‘엣지(edge)’ 즉 카메라 센서 그 자체에서 처리하는 것이다. 그러면 분석된 데이터(예: 특정 클래스로 분류된 이미지의 연결)만 클라우드로 전송된다. 일반적으로 매우 낮은 대역폭을 통한 연결은 이러한 프로세스를 수행하기에 매우 충분하다. 그러면 클라우드로의 전환과 이벤트에 대한 반응이 더욱 빠르게 나타날 수 있다.
2.1 하드웨어 및 애플리케이션 소프트웨어
Basler는 스마트 IoT 센서를 엣지 디바이스로 구현하는 임베디드 비전 솔루션을 개발했다. Basler의 임베디드 비전 키트를 기반으로 다음과 같이 구성된다.
• Basler의 MIPI 카메라 모듈용 다트 BCON
• Qualcomm® Snapdragon™ SoC 이 장착된 96 Boards™
• 호환 프로세싱 보드 카메라 모듈을 프로세싱 보드에 직접 연결하는 96 Boards™
이 방법을 사용하면 카메라 모듈에서 가져온 이미지 데이터를 프로세싱 보드에서 직접 높은 프레임 속도로 처리할 수 있다. 테스트로 레고(Lego) 속 다양한 인물(목수, 우주비행사, 요리사 등)이나 각종교통 표지판을 분류하는 것을 목표로 했다. 이러한 종류의 분류 작업은 현재 인공지능(AI) 방식, 즉 깊은 신경망(딥러닝)을 통해 특히 효율적으로 처리되고 있으며, 그 안에서는 딥러닝의 특수한 형태로서 이른바 합성곱 추가로 활용된다.
신경 네트워크가 작업을 수행하기 신경망(Convolutional Neural Network, CNN)이 먼저 특정 이미지가 속한 클래스를 ‘학습’할 수 있도록 샘플 영상으로 훈련해야 한다. 이 교육에는 고효율 하드웨어(일반적으로 고급 그래픽 카드)가 필요하다. 이러한 하드웨어를 활용하더라도 교육 기간은 며칠 혹은 몇 주가 걸릴 수 있다. 이에 대한 대안으로 Amazon Web Services와 같은 플랫폼은 교육 목적으로 임대 가능한 하드웨어 클러스터를 제공한다.
신경망을 훈련한 후에는 실제 분류 작업을 수행할 수 있도록 비교적 낮은 효율성을 가진 임베디드 프로세싱 보드로 네트워크 구성을 전송(배포 목적)할 수 있다. ‘추론’이라고 하는 이 프로세스는 특정 대상 하드웨어(예: 임베디드 프로세싱 플랫폼)에 완벽히 훈련된 신경 네트워크를 적용하는 것을 의미한다. 효율적인 이기종 아키텍처(Quadcore Kryo CPU, Adreno 530 GPU 및 Hexagon 680 DSP)가 포함되어 있는 응용 SnapDragonSoC는 일반적으로 이미지 처리에 적합한 플랫폼이다. 특히 GPU(그래픽 처리 장치)와 DSP(디지털 신호 프로세서)는 CNN을 활용한 추론에 이상적인 하드웨어 블록이다.
Basler는 서로 다른 두 개의 CNN을 훈련시키며 작업을 시작했다. 하나는 레고 인물 분류를 위한 것이고 다른 하나는 교통 표지판을 분류하기 위한 것이었다. 단 몇 메가바이트의 용량으로 훈련된 CNN은 크기가 상당히 작고, 수용 가능한 시간 내에 불안정한 연결(낮은 대역폭)을 통해 클라우드에서 엣지 디바이스로 전송될 수도 있다. 레고 인물 CNN이 전송된 후, 엣지 디바이스는 인물을 안정적으로 분류하고, 대역폭 요구 사항이 적고 대기 시간이 짧은 클라우드에 결과를 보고할 수 있었다. 교통 표지판 분류를 위해 엣지 디바이스를 ‘개조’하는 위한 작업은 스마트 센서가 다른 교통 신호를 안정적으로 감지할 수 있도록 해당 교통 표지판 CNN을 클라우드에서 전송하는 것뿐이었다.
이러한 접근 방식은 하나의 엣지 디바이스에만 적용되는 것이 아니며, 수많은 엣지 디바이스를 클라우드와 연결하여 임의로 확장할 수 있다. 그 다음 엣지 디바이스를 클라우드에서 동시에 제어할 수 있다. 이를 통해 무선(OTA)으로 카메라 모듈을 동시에 구성하고, 펌웨어 업데이트와 같은 유지보수 작업을 수행하거나 상이한 분류 작업에 대해 서로 다른 CNN을 전송할 수 있다.
2.2 이점
• 센서를 클라우드에 연결하기 위한 낮은 대역폭 요구 사항
• 센서 이벤트에 대한 클라우드 애플리케이션 응답 시간 단축
• 여러 센서 OTA(센서 구성, 펌웨어 업데이트 또는 상이한 분류 작업을 위한 새 CNN 업로드)의 ‘원격 유지보수’를 동시에 수행할 수 있는 이상적인 기회
3. 요약
Basler 실시간 데모는 클라우드에 연결하여 CNN가 포함된 엣지 프로세싱을 통해 이미지 데이터를 분류할 수 있는 효율적이고 지능적인 센서를 얻을 수 있는 방법을 보여준다. 이 데모를 통해 Basler는 매우 생산적이고, 확장 가능하며, 유지보수가 쉬운 안정적이고 간소화된 시스템의 실현 가능성을 입증했다. 이 복합 시스템은 임베디드 비전 솔루션 공급업체로서 Basler가 갖춘 전문성을 여실히 보여주는 대표적인 예이다.
자료 제공: Basler(www.baslerweb.com)
