비전 가이드 로봇 ‘EyeBot’
urobots, IDS의 NXT 카메라 접목
AI는 빠르고 강력하며 오류 없이 작동하기 때문에 기계를 정지시 킬 필요가 없다. 이는 AI가 작업 프로세스를 높은 성능과 품질로 지속적으로 수행해야 하는 많은 분야에서 이미 사람보다 우수하 다는 것을 의미한다. 이것이 바로 비용 효율적인 프로세스를 위해 로봇과 상호 작용하는 머신 비전 환경에서 AI를 사용하려는 이유 다. ‘Vision Guided Robot’의 적용 사례는 로봇과 내장형 AI 비전 카메라를 사용하여 전형적인 픽 앤 플레이스(Pick & Place) 작업 을 지능적으로 자동화할 수 있는 방법을 보여준다.
‘스마트 그리핑(smart gripping)’을 위해서는 서로 다른 분야 가 함께 최적으로 작동해야 한다. 예를 들어 로봇을 사용하여 크 기, 모양, 재료 또는 서로 다른 품질의 제품 분류 등의 작업을 할 경우, 제품을 그리핑 할 뿐만 아니라 사전에 식별, 분석 및 위치 파악을 해야 한다. 규칙 기반 이미지 처리 시스템(rule-based image processing systems)을 사용하면, 특히 작은 배치 크기 (batch size)에서 시간이 많이 소요될 뿐만 아니라 경제적으로도 거의 불가능하다. 그러나 AI 기반 추론과 결합하면 산업용 로봇은 필요한 기술과 제품 지식을 보유하게 된다.
EyeBot 사용 사례
제품은 생산 라인에서 컨베이어 벨트에 무작위로 흩어져 있다. 그 제품을 감지하고 선택해야 하며, 포장과 추가 처리 및 분석을 위해 올바른 위치에 전달해야 한다. 독일 소프트웨어 회사인 ‘urobots GmbH’는 제품을 감지하고 로봇을 제어하기 위한 PC 기반 솔루션 을 개발했다. 그들의 훈련된 AI 모델은 로봇의 그립 좌표가 결정되 는 카메라 이미지에서 제품의 위치와 방향을 인식할 수 있다. 이제 목표는 이 솔루션을 IDS Imaging Development Systems GmbH 의 AI 기반 임베디드 비전 시스템으로 통합하는 것이다. urobots 의 경우 솔루션에 가장 중요한 두 가지는 다음과 같다.
▶사용자는 특별한 AI 전문 지식 없이도 다양한 사용 사례에 맞게 시스템을 쉽게 조정할 수 있어야 한다. 예를 들어 조명, 제품의 모 양 또는 다른 유형의 제품을 추가해야 하는 경우에도 마찬가지다. ▶비용 효율적이며 공간 절약을 위해 전체 시스템의 구성 요소가 직접 통신을 함으로 PC가 전혀 필요하지 않다.
두 요구 사항은 IDS NXT 해양 추론 카메라 시스템과 함께 IDS에 서 이미 제공되고 있다.
위치 감지 및 직접 기계 통신
훈련된 신경망은 이미지의 모든 제품을 식별하고 위치와 방향도 감지한다. AI는 항상 동일하게 보이는 고정된 제품뿐만 아니라 음 식, 식물 또는 기타 유연한 제품과 같이 자연적인 변화가 많은 경 우에도 이 작업을 수행한다. 그 결과 제품의 위치와 방향이 매우 안정적으로 인식된다.
urobots GmbH는 자체 소프트웨어와 지식으로 고객을 위해 네트워크를 훈련한 다음 IDS NXT 카메라에 업로드했다. 이렇게 하려면 일종의 ‘연결 목록’과 유사한 형식으로 변환해야 했다. 카 메라에 훈련된 신경망을 이식하는 것은 IDS에서 제공하는 IDS ‘NXT ferry tool’을 사용하였다.
이 과정에서 CNN 네트워크의 각 계층은, 각 계층을 정확하게 설명하는 하나의 ‘노드 디스크립터(node descriptor)’가 된다. 최 종 결과는 이진수로 표현된 CNN의 완전하게 연결된 목록이다. 카 메라를 위해 특별히 개발된 FPGA 기반의 CNN 가속기 IDS NXT 오션 코어는 범용 CNN을 최적으로 실행할 수 있게 한다.
urobots에서 개발한 비전 앱은 감지 데이터에서 로봇의 최적 그립 위치를 계산한다. 그러나 이 작업은 해결되지 못했다. 무엇 을, 어디서, 어떻게 잡는가에 대한 결과 외에도 IDS NXT 카메라와 로봇 사이에 직접 통신이 설정되어야 했다. 이것은 종종 솔루션에 얼마나 많은 시간, 돈 및 인력을 투자해야 하는지를 결정하는 중 요한 점이다.
urobots는 구체적인 작업 지침을 로봇에 직접 전달하기 위해 IDS NXT Vision App Creator를 사용하여 카메라의 비전 앱에 XMLRPC 기반 네트워크 프로토콜을 구현했다. 최종 AI 비전 앱 은 약 200ms 안에 제품을 감지하고 +/- 2도의 위치 정확도를 달 성한다.
PC 없는 AI의 성능
이 적용 사례를 스마트하게 만드는 것은 AI만이 아니다. 이 솔루 션이 추가 PC 없이 완벽하게 작동한다는 사실 또한 두 가지 측면 에서 흥미롭다.
첫째, 카메라 자체가 이미지 처리 결과를 생성하고 단순히 이미 지를 전달하는 것이 아니기 때문에 PC 하드웨어 및 모든 관련 인 프라가 필요 없다. 궁극적으로 이는 시스템의 구입 및 유지 관리 비용을 줄여준다. 그러나 종종 프로세스 결정이 생산 현장, 즉 ‘제 시간에’ 즉시 내려지는 것도 중요하다. 따라서 후속 프로세스를 지연 없이 더 빠르게 실행할 수 있으며, 이는 일부 경우에 클록 속 도를 증가시킬 수도 있다.
다른 측면은 개발 비용에 관한 것이다. AI 비전 또는 신경망 훈 련은 기존의 규칙 기반 이미지 처리와 완전히 다른 방식으로 작동 하며, 이는 이미지 작업의 접근 및 처리 방식도 변경한다. 결과적 으로 더 이상 이미지 처리 전문가와 애플리케이션 개발자가 개발한 프로그램에 의한 산물이 아니다. 즉 애플리케이션이 AI 기반으 로 해결될 수 있다면 IDS NXT Ocean도 해당 전문가의 비용과 시 간을 절약할 수 있다. 포괄적이고 사용자 친화적인 소프트웨어 환 경을 통해 각 사용자 그룹이 신경망을 훈련하고 설계할 수 있기 때문이다.
EyeBot 사용 사례는 컴퓨터 비전이 PC 없는 임베디드 AI 비전 애플리케이션이 될 수 있는 방법을 보여준다. 비전 앱 기반 개념 을 통한 확장성, 다양한 대상 그룹을 위한 애플리케이션 개발 및 종단 간 제조업체 지원도 소형 임베디드 시스템의 장점이다.
EyeBot을 사용하면 그 역량이 애플리케이션에 명확하게 나타 난다. 사용자는 자신의 제품에 집중할 수 있고 IDS와 urobot은 이 미지 처리 및 로봇 제어를 위한 AI 훈련 및 실행에 집중한다. 추가 이점은 이더넷 기반 통신 및 개방형 IDS NXT 플랫폼을 통해 비전 앱은 다른 제품 및 로봇 모델 그리고 기타 많은 애플리케이션에 쉽게 적용할 수 있다는 점이다.
