iDS / 가구 조립 로봇에 적용된 EnsensoN35 3D 카메라
로봇은 Ensenso N35 3D 카메라와 물체를 집기 위한 그리퍼가 장착된 두 개의 로봇 팔로 구성된다. 기계 항공 공학부에 있는 팀은 로봇이 IKEA 의자를 조립할 수 있도록 세 가지 오픈 소스 라이브러리가 있는 알고리즘을 인코딩했다. 로봇 하드웨어는 사람이 물체를 탑재하는 방법을 시뮬레이션 하도록 설계됐다. ‘눈’은 3D 카메라로 대체되고 ‘팔’은 산업용 로봇 팔을 통해 6축으로 이동할 수 있다. 각 팔에는 물체를 집기 위한 평행한 그리퍼가 장착됐다. 힘 센서는 손목에 부착돼 손가락이 얼마나 강하게 잡히고, 얼마나 강하게 물건을 서로 접촉시킬 수 있는지를 결정한다.
로봇은 지면에 있는 부품의 3D 이미지를 가져와서 다양한 부품의 예상 위치를 나타내는 지도를 작성해 조립 프로세스를 시작한다.
이 작업은 Ensenso 3D 카메라에서 수행되며, 카메라는 인간의 시각을 모방한 ‘투영된 텍스처 스테레오 비전’ 원리(스테레오 비전)에 따라 작동한다. 두 대의 카메라가 동일한 장면에서 서로 다른 두 곳에 위치해 이미지를 수집한다. 카메라는 동일한 장면 콘텐츠를 보지만 카메라의 투사 광선에 따라 오브젝트의 위치는 다르다. 특수일치 알고리즘은 두 이미지를 비교하고, 해당 점을 검색하며, 불일치 맵에서 모든 점 변위를 시각화한다. Ensenso 소프트웨어는 각 이미지 픽셀 또는 물체 포인트(이 경우 의자 구성 요소)에 대한 3D 조정을 결정할 수 있다.
문제는 복잡한 환경에서 구성 요소를 최대한 신속 정확하게 신뢰할 수 있는 위치에 배치하는 것이다. 이는 Ensenso 카메라의 집약적인 프로젝터로 보장된다. 어려운 조명 조건에서도 패턴 마스크를 사용해 물체 표면에 고 대비 텍스처가 생성된다. 투영된 텍스처는 IKEA 의자의 구성 요소에서 볼 수 있듯이 약하거나 존재하지 않는 오브젝트 표면 구조를 보완한다.
이 애플리케이션에서는 필요 없지만, N35 모델은 한 단계 더 나아간다. 통합된 FlexView 프로젝터 기술 덕분에 부품의 물체 표면에 투영된 패턴을 이동해서 표면의 텍스처를 변화시킬 수 있다. 같은 대상 장면의 서로 다른 질감으로 여러 이미지 쌍을 획득하면, 더 많은 이미지 점이 생성된다. 따라서 의자의 구성 요소는 훨씬 더 높은 해상도의 3D로 표시되므로 로봇이 쉽게 인식할 수 있다.
또 다른 장점은 Ensenso 소프트웨어에서의 ‘로봇의 손-눈 보정기능(hand-eye calibration function)’이다. 보정 플레이트를 사용해 카메라 좌표계(이 경우 고정 카메라)의 위치가 기본 좌표계(구성 요소의 위치)에 따라 결정된다.
이렇게 하면 로봇의 손이 이미지 정보에 정확하게 반응하고 정확하게 대상에 도달할 수 있다. NTU의 Pham Quang Cuong 교수는 “로봇의 경우 정밀도가 높은 IKEA 의자를 조립하는 것이 외형보다 복잡합니다. 또한, 인간에게 자연스럽게 전달될 수 있는 조립 작업은 다른 의자 부품의 위치, 부품을 잡는 데 필요한 힘, 로봇 팔이 충돌하지 않고 움직이는지 확인하는 등 다양한 단계로 나눠야 합니다. 상당한 엔지니어링 노력을 통해 로봇이 자체적으로 의자를 조립하는 데 필요한 단계를 수행할 수 있게 해주는 알고리즘을 개발했습니다.”라고 설명했다. (결과 : NTU 로봇은 IKEA의 Stefan 의자를 8분 55초 만에 설치했다.)
Pham Quang Cuong 교수는 “우리는 로봇을 보다 자율적으로 만들기 위해 더 많은 인공 지능을 이 접근법에 통합하고자 합니다. 인간의 시위를 통해 또는, 지시 매뉴얼을 읽거나 조립된 제품의 이미지를 통해 의자를 만들 수 있습니다.”라고 말했다. 그에 따르면 인공 지능은 미래에 더욱 독립적이고 유망한 응용 프로그램이 될 것이다.
요약
NTU Singapore의 과학자들이 개발한 로봇은 스마트한 조작에 대한 연구에 사용된다. 연구는 특별한 로봇 손이나 손가락의 힘과 움직임을 정밀하게 제어해야 하는 로봇 분야다.
이를 위해 모든 하드웨어 및 소프트웨어 구성 요소의 완벽한 상호 작용이 필요하다. Ensenso 스테레오 3D 카메라를 사용한 3D 이미지 처리가 솔루션의 핵심이다.
자료 제공 : iDS(www.ids-imaging.com)
