Orbbec, 멀티 센서 동기화 기술로 구현한 차세대 AI 학습 데이터 플랫폼

▲ EGO·UMI·WristCam·Hub로 구성된 Orbbec의 로봇 프리 데이터 수집 플랫폼

Orbbec은 실제 로봇 없이도 피지컬 AI 학습 데이터를 확보할 수 있는 ‘Robot-Free Data Collection Platform’을 선보였다. EGO와 UMI, WristCam, Hub로 구성된 이플랫폼은 작업자의 1인칭 시점과 손 조작, 물체와의 근거리 상호작용을 기록해 모방학습과 VLA(Vision-Language-Action) 모델 개발에 활용할 수 있다.

작업별 데이터를 수집하는 세 가지 장치

EGO는 작업자의 1인칭 시점에서 주변 환경과 작업 순서, 물체와의 상호작용을 기록한다. UMI는 물체를 잡고 옮기거나 배치·조립하는 조작 동작을 수집하며, WristCam은 손목 부근에서 손과 물체, 도구 사이의 세밀한 상호작용을 촬영한 다. 각 장치는 독립적으로 사용할 수 있다. Hub는 각 장치의 연결과 데이터 수집을 통합 관리한다.

RGB와 깊이 데이터 동시 확보

핵심 장치인 EGO RGB-D에는 Orbbec의 Gemini 330 시리즈 스테레오 3D 카메라와 MX6800 깊이 처리 칩이 적용됐다. RGB 영상과 깊이 데이터를 동시에 수집해 물체의 형태와 위치뿐 아니라 작업 공간의 입체 구조까지 학습할 수 있도록 한다. RGB와 깊이, IMU, 타임스탬프, 카메라 매개변수는 하나의 동기화·보정된 데이터 파이프 라인으로 처리된다.

AI로 깊이 데이터 누락 보완

Orbbec은 체화형 AI 기업 Robbyant와 협력해 EGO RGB-D에 ‘LingBot-Depth 2.0’을 적용한다. 이 모델은 3D 카메라가 생성한 깊이 정보에서 누락된 영역을 보완하고 물체 경계와 공간 구조를 복원한다. LingBot-Depth 2.0은 1억5000만 개의 데이터 샘플로 학습됐으며, 유리와 거울, 투명·반사 물체처럼 기존 깊이 카메라로 측정하기 어려운 환경을 겨냥했다. Orbbec에 따르면 넓은 영역의 깊이 정보가 누락된 실내 조건에서 RMSE를 이전 모델의 0.132에서 0.062로 낮췄다.

산업 조립·물류 피킹에 활용

플랫폼은 산업 조립과 창고 피킹·분류, 공구 사용, 양손 작업 등 다양한 로봇 학습 데이터 수집에 활용할 수 있다. 로봇 하드웨어 개발과 동시에 학습 데이터를 확보할 수 있어 로봇 제조사와 피지컬 AI 모델 개발사의 개발 기간 단축에 도움이 된다. Orbbec은 Gemini 330 시리즈에 LingBot-Depth 기능을 결합한 엣지용 SDK를 공급하고, 2026년 말에는 상용 모델을 내장한 일체형 3D 카메라를 출시할 계획이다.

자료제공: Orbbec(www.orbbec.com)