빈(Vin) 피킹 6축 로봇셀 응용분야에 적합한 Ensenso N10 스테레오 3D카메라
IDS
KIT(독일 카를스루에 기술연구소)의 로봇학습그룹(ROLE, Robot Learning Group)은 기계 학습의 다양한 측면을 연구하고 있다. 과학자들은 로봇이 독립적으로 과제를 해결하는 방법에 대해 연구했고, 특히 전형적인 빈 피킹 시나리오에서 물체를 잡고 정렬하는 데에 집중했다. 이때 로봇의 헤드에 장착된 Ensenso N10 3D 카메라는 빈 피킹 시나리오에 필요한 이미지 데이터를 제공하게 된다.
무질서하게 놓인 물체를 잡는 것은 산업 자동화 분야의 핵심 과제이다. 그러나 현재까지의 빈 피킹 솔루션은 유연성이 없으며, 몇 가지 분야에 특정되어 있다. ROLE는 컨테이너에서 물체를 집어 올리는 것을 독립적으로 배우는 로봇을 연구했다. 이러한 작업을 배우기 위해 로봇은 먼저 인간이 하는 것처럼 임의로 물체를 잡는 시도를 시작한다.
ROLE는 로봇 그립핑을 촬영한 3D 이미지와 연결했다. 각각의 이미지는 그리퍼의 힘 센서에 의해 그립핑 결과로 저장된다. AI는 저장된 데이터를 사용하여 물체에 대한 의미 있는 그립핑 지점을 식별하여 자체적으로 훈련한다.
올바른 그립으로 훈련 시간 단축
분석적인(또는 모델 기반의) 그립 방법과 달리 ROLE 로봇은 물체에 대한 특징 설명이 없어도 가동된다. 로봇이 시도하는 그립은 빠른 학습 성공을 위해 중요하다. 로봇은 3D 이미지를 통한 신경망의 도움으로 기존 지식을 사용하여 그립 결과를 예측할 수 있다. 평균적으로 잘 작동하는 시스템을 만들기 위해서는 약 20,000개의 그립핑 실험이 필요하며, 이는 약 80시간의 로봇 교육 시간에 해당한다. 물론 이 수치는 대략적인 값이다. 따라서 ROLE 연구의 필수 과제는 그립핑 시도 횟수를 줄이는 것이다.
여기에서 가장 중요한 과학적 질문은 ‘가능한 한 많은 정보를 최대한 빨리 얻기 위해 어떤 그립을 시도해야 하는가’ 이다. 이 부분을 해결하기 위해서 전달학습(transfer learning)도 사용됐다. 이 연구의 장기적 목표는 어떤 환경에서든 독립적으로 유연하게 그립핑 할 수 있는 제어시스템이다. 이것이 바로 ROLE 그룹의 빈 피킹 솔루션의 차이점이다.
특정 모델이 없는 학습
ROLE 그룹의 리서치 시스템의 연구는 잡는 공작물의 티칭 모델이 없이 작동하며, 이는 새로운 물체에도 적용된다. 원칙적으로 모양과 환경에 대한 제한이 없다. 재료 및 표면 특징에 대한 지식도 필요하지 않다. 어떤 산업 분야에서도 유연하게 사용할 수 있으며 프로그래밍 노력이 줄어든다.
인트라로지스틱스에서 서비스 로봇에 이르기까지 새로운 애플리케이션의 자동화가 가능하다. 동시에, 그립핑 자체 외에도 이동과 같은 대상 조작의 다른 유형들이 실현될 수 있다. 로봇은 그랩핑 다음단계에서도 물체를 독립적으로 움직이는 법을 배운다. 로봇 교육은 사람의 개입없이 완벽하게 작동한다. 로봇의 학습 프로세스 자동화는 가장 큰 과제 중 하나이다. 시스템이 모든 요구 사항을 충족하는 경우에만 생산적으로 사용될 수 있기 때문이다.
ROLE 시스템은 다음 그립을 계산할 때 20ms가 걸리는 능 매우 빠르다. 따라서 시스템을 시운전하면 수동 프로그래밍이 줄어드는 등 빈 피킹에서의 유연성이 상당히 향상될 수 있다.
3D 이미지 데이터 기반
로봇의 시각 데이터는 Ensenso 3D 카메라에 의해 제공된다. 카메라는 여러 모양의 물체가 무작위로 채워진 컨테이너 위에서 바라본다. 이미지 처리 시스템은 상자의 내용물에 고대비 텍스처(high-contrast texture)를 투영하고, 그레이 스케일로 깊이 이미지를 계산하기 위한 위에서 보여지는 표면의 3D 포인트 클라우드를 생성한다. 이 단계는 Ensenso SDK에서 직접 구현된다. 그런 다음, 심도 이미지는 12,000 픽셀의 해상도로 조정되며 AI 알고리즘의 입력으로 사용된다. 신경망은 이미지 분석과 다음 그립을 위한 논리적 단계를 처리한다.
카메라는 로봇의 헤드에 직접 장착된다. Ensenso N10 카메라는 물체와 최소 30cm의 거리를 허용하고 전체 거리 범위가 넓기 때문에 선택했다. Ensenso N10 카메라는 움직이는 장면도 적합한 적외선 범위의 액티브 스테레오 카메라로서 모든 요구 사항을 충족한다.
Ensenso N10 카메라의 견고한 소형 알루미늄 하우징에는 트리거 및 플래시 및 USB2.0 연결을 위한 나사식 GPIO 커넥터가 있으며 2개의 단색 CMOS 센서(글로벌 셔터, 752 x 480 픽셀)와 850nm에서 작동하는 적외선 파장 패턴 프로젝터가 장착되어 있다.
MVTec HALCON 인터페이스 및 객체 지향 API(C++, C#/.NET)와 함께 제공되는 3D 카메라의 초점 길이는 3.6~16mm이며 최대 2,000mm의 작업 거리에서 움직이는 물체에도 사용할 수 있다. ROLE 그룹 연구원은 Ensenso SDK의 NxLib을 사용하여 깊이 이미지를 캡처하고 OpenCV 및 TensorFlow로 이미지를 처리한다.
자료 제공: IDS(www.ids-imaging.com)
