새로운 3D 기술의 가능성을 보여주는 Sony의 DEPTENSEⓇ T

LUCID Vision Labs 

3D 이미징은 픽 앤 플레이스, 팔레트 수송, 물류창고, 로봇, 혹은 계측 애플리케이션에서 무인 항공기, 안전, 보안, 환자 모니터링 애플리케이션과 같은 소비자 기반 제품에 이르기까지 여러 산업 분야에서 쓰인다. 특정 유형의 3D 기술이 수많은 애플리케이션 모두를 해결할 수 없으며 각각의 기능을 각 애플리케이션에 대한 적합성과 비교해야 한다(표 1).

3D 이미징 시스템은 패시브 시스템과 액티브 시스템으로 분류할 수 있다. 패시브 시스템에서는 주변, 또는 넓은 고정 조명을 써서 물체를 비춘다. 액티브 시스템은 레이저 라인 스캐닝, 얼룩 투영, 프린지 패턴 투영(fringe pattern projection), ToF(time of flight)를 포함하는 공간 혹은 시간 조절 광의 여러 방법을 쓴다. 패시브와 액티브 3D 이미징 시스템에서 조명이 들어오는 물체에서 반사된 빛을 CMOS 기반 카메라에 포착해 구조물의 깊이 맵을 만든 다음, 필요한 경우 3D 모델을 만들어낸다.

3D 이미징 시스템에서 캡처된 데이터는 수평(x), 수직(y), 거리 정보(그림 1)를 포함하는 포인트 클라우드(point cloud, 점군)로 알려진 x, y, z 좌표로 표현된다. 이것은 3D 포인트의 모음이다. 이 포인트들은 3D 이미저와 물체 사이의 거리를 나타내는 2D 의사 색채(pseudo-colored)로 나타낼 수 있다(그림 1). 예를 들어 VGA 센서를 써서 이미지를 캡처하면 스캔 방법에 따라 최대 640×480 픽셀의 깊이 맵을 생성할 수 있다. 각 픽셀에 대한 거리 정밀도는 3D 측정의 정확성을 나타내는 신뢰 값으로 결정된다.

패시브 스테레오(Passive Stereo)

표준 패시브 스테레오 비전 시스템은 두 개의 다른 위치에서 장면을 캡처하기 위해 고정 거리를 두고 떨어져 있는 카메라 두 대를 쓴다. 삼각 측량을 이용해서 두 이미지의 형상을 일치시켜 깊이 정보를 추출한다. 물체가 가까울수록 두 이미지에서 형상이 옆으로 더 많이 움직일 것이다. 불일치(disparity)라고 하는 이동의 크기는 일치하는 형상 사이의 거리를 계산하는 데 쓰인다.

3D 삼각 측량 기반 시스템도 카메라 한 대로 구현할 수 있다. 고정 스테레오 카메라 쌍을 쓰는 대신, 로봇에 탑재된 단일 카메라는 대상 주변의 다른 위치에 카메라를 배치할 수 있다. 형상 추출 알고리즘을 이용해 여러 이미지를 매핑함으로써 3D 이미지를 전문 보정 기법으로 다시 만들 수 있다. 시스템 정확도는 로봇의 위치 정확도로 제한된다.

패시브 3D 시스템은 장면에 있는 물체나 물체의 한 부분을 카메라 중 한 대가 볼 수 없는 폐색(occlusion)을 겪을 수 있다. 이 경우 캡처된 각 이미지 내의 형상은 일치할 수 없으며 깊이를 계산할 수 없다. 두 대 이상의 카메라를 씀으로써 경우에 따라 발생하는 폐색 효과를 줄일 수 있다(그림 2).

그러나 스테레오 기반의 3D 시스템에서 깊이 정보를 결정할 때 잠재적인 문제를 일으키는 것은 폐색만이 아니다. 어떤 물체가 특징이 거의 없고 희미한 형상을 가지고 있다면(예: 완전히 하얀 벽) 두 이미지 사이에서 일치하는 대응 쌍은 발견되지 않을 것이다. 각 이미지에 일치하는 형상이 없으면 깊이 정보를 계산할 수 없다.

구조형 조명(Structured illumination)

특징이 거의 없는 물체에서 형상을 찾는 문제를 극복하기 위해 구조형 조명 시스템은 물체에 패턴화된 빛을 투사한다. 카메라가 확인하기 어렵거나 없을 수 있는 특징을 찾는 대신, 카메라는 조명 프로젝터로 생성된 잘 정의된 빛의 패턴만 찾으면 된다. 구조형 조명 시스템은 보통 액티브 스테레오 시스템 또는 보정된 프로젝터 시스템이라는 두 가지 범주 중 하나로 분류된다.

액티브 스테레오 시스템은 인공 텍스처가 물체에 투영되는 것을 제외하면 패시브 스테레오 시스템과 비슷한 방식으로 작동한다. 투영된 텍스처는 LED 백라이트가 있는 기존의 레티클 프로젝터, 회절 광학 패턴이 있는 레이저, 생성된 레이저 얼룩과 같은 수단으로 만들어질 수 있다(그림 3). 투영된 패턴은 스테레오 카메라 시스템을 활용해 캡처되고, 특징 매칭은 패시브 스테레오와 같은 방식으로 디지털 이미지 상관관계를 이용해 얻어진다. 측정 정확도는 스테레오 카메라의 고유 정확도에 의해 제한되며, 투영된 패턴의 해상도에도 추가된다.

여기에서 설명한 구조형 조명 시스템의 두 번째 범주는 보정된 투영 패턴을 이용한다. 스테레오 상관관계를 위해 단순히 텍스처를 투사하는 대신, 보정된 프로젝터의 패턴을 정확히 알고 있으며 3D 측정에서 꼭 필요한 부분을 형성한다.

스테레오 카메라 쌍의 두 번째 카메라 기능과 비슷하게, 프로젝터가 삼각형에 알려진 정점을 형성한다. 그 때문에 삼각측량으로부터 깊이를 계산하는 데는 단 하나의 카메라만 필요하다. 이 시스템 중 가장 간단한 것은 물체 표면에 레이저 광선을 투영하는 레이저 라인 스캐너다(그림 4). 레이저에서 벗어난 곳에 있는 카메라에는 반사된 레이저 선이 표면까지 거리에 따라 왜곡된 상태로 나타난다.

물체를 스캔하려면 레이저 선을 전체 대상 위로 이동하고 일련의 이미지를 캡처해야 한다. 이러한 반사된 선 영상을 분석함으로써 물체의 표면 형상의 기하학적 재구성을 계산할 수 있다. 시스템 통합업체는 개별 카메라와 레이저를 써서 이미지화할 부품의 특성에 따라 다른 방식으로 구성할 수 있는 시스템을 구축할 수 있다.

패시브 스테레오와 구조형 조명 시스템은 의미 있는 결과를 내기 위해서 보정해야 한다. 많은 제조업체가 단일 장치에 조명 소스와 카메라를 내장하는, 사전에 보정된 구조형 조명 시스템을 도입했다. 시스템의 예시로 얼굴 인식과 같은 애플리케이션을 위해 낮은 비용으로 사전 보정되고 구조화된 조명 해결책을 제공하는 Intel RealSense가 있다. 이런 식으로 개발자들은 적절한 비용을 들여서 시스템을 배치할 수 있다. 산업 부문에서는 정확도가 패시브 스테레오 비전 시스템보다 훨씬 높기 때문에 보통 하나 이상의 카메라로 구성된 구조형 조명이 high end 계측 애플리케이션에 쓰인다.

ToF(Time of flight)

10μm 이상의 표면 높이 해상도는 짧은 작업 거리에서 레이저 스캐너를 써서 달성할 수 있다. 그러나 다른 애플리케이션은 더 긴 범위를 요구한다. 이를테면 내비게이션, 사람 모니터링, 장애물 회피, 모바일 로봇과 같은 애플리케이션은 수 미터의 작동 거리를 필요로 한다(그림 5). 이와 같은 용도에서는 물체가 있는지 감지하고 그 위치를 몇 센티미터 이내로 측정하는 것이 종종 필요하다.

자동 재료 취급 시스템 따위의 다른 애플리케이션은 1~3m의 중간 거리에서 작동하며 약 1~5mm의 더 정확한 측정이 필요하다. 이런 애플리케이션에서 ToF 이미징은 경쟁력 있는 해결책이 될 수 있다. ToF 시스템은 장치에서 방출되는 빛이 장면의 물체를 반사하고 이미지의 각 지점(그림 6)에 대해 센서로 돌아오는 데 걸리는 시간을 측정해 작동한다.

ToF 카메라는 펄스 변조 또는 CW(Continuous Wave, 연속파) 변조 중 하나를 쓴다. Direct ToF라고도 하는 펄스 변조에는 짧은 펄스를 방출하고 카메라로 돌아오는 데 걸리는 시간을 측정하는 것이 포함된다(그림 7). CW 변조는 연속 신호를 방출하고 방출된 광파와 복귀하는 광파 사이의 위상 이동을 계산하며, 이는 물체까지의 거리에 비례한다(그림 8).

CW 위상 이동 ToF

CW 위상 이동 기반 장치는 Texas Instruments와 Microsoft를 포함한 여러 회사에서 쓸 수 있으며, Sony Semiconductor Solutions(일본 도쿄)의 최신 센서 중 하나다.

원래 SoftKinetics(벨기에에 있는 Gewest)가 개발했으며, 지금은 Sony가 소유하고 있다. SoftKinetics 기술은 고효율(그림 9a)로 고속 샘플링을 할 수 있는 Current Assisted Photonics Demodulation(CAPD) 픽셀 구조를 특징으로 한다. 이 ToF 픽셀 기술은 Sony의 BSI(backside illuminated sensor) 기술과 결합해 새로운 DepthSense® ToF 센서를 만들었다. BSI 기술은 근적외선 파장(그림 9b)에서 더 나은 집광 효율을 제공한다. 신형 Sony IMX556PLR은 640×480 해상도, 10μm×10μm 픽셀의 1/2인치 센서로 60fps에서 구동된다.

최근 Sony의 DepthSense 센서는 LUCID Vision Labs(Richmond, B.C., Canada)의 Helios™ ToF 3D 카메라에 통합됐다. 카메라는 서로 다른 주파수(그림 10)에서 변조된 4개의 온보드 850nm VCSEL 레이저 다이오드의 빛을 써서 작동 거리 3개에서 작동할 수 있다. 카메라의 시야는 65°×46°이고 작동 범위는 0.3~6m다. 최고 변조 주파수가 100 MHz인 카메라는 0.3~1.5m 작동 범위에 비해 2.5mm의 정밀도와 5mm의 정확도를 제공한다. 카메라는 칩 외부에서 계산할 필요 없이 장치에서 직접 읽을 수 있는 3D 포인트 클라우드 데이터를 생성하는 온보드 처리를 수행한다. 포인트 클라우드 데이터는 카메라의 GigE 인터페이스를 통해 전송할 수 있으며 LUCID의 Arena SDK(Software Development Kit)를 써서 추가로 처리할 수 있고, 이 키트는 사용자가 카메라와 인터페이싱하는 맞춤형 프로그램을 C, C ++, C#으로 작성할 수 있다.

과거에는 카메라 공급업체가 호스트 컴퓨터에서 드라이버를 올바르게 구성하고 제어할 수 있도록 고객에게 드라이버를 제공해야 했다. 머신비전 카메라를 위한 보통의 프로그래밍 인터페이스인 GenICam이 도입됨에 따라, 카메라 인터페이스는 사용자의 API와 분리돼 여러 카메라 드라이버를 작성해야 할 필요를 줄인다. 이제 GenICam 3.0의 출시와 함께 심층, 또는 진폭 데이터나 처리된 포인트 클라우드 데이터는 추가 데이터 변환 없이 카메라에서 읽을 수 있다. Helios 카메라는 GenICam과 호환되므로 오늘날 제공되는 기성품 GenICam 소프트웨어 패키지와 매우 신속히 통합될 수 있다.

환경 고려

모든 애플리케이션의 요구를 충족하는 3D 이미징 기술은 없다. 액티브 또는 패시브 이미징 시스템을 선택할 때 추가 광원이 있는지, 어떤 유형의 표면을 촬영해야 하는지, 그리고 시야의 어떤 물체가 반사형인지, 또는 다중 반사를 생성하는지와 같은 몇 가지 요인을 고려해야 한다.

햇빛이나 빛나는 물체에서 반사되는 광원은 스테레오 비전 시스템에 쓰이는 카메라를 쉽게 포화시킬 수 있다. 반대로 빛의 양이 적으면 노이즈가 발생할 수 있다(그림 11).

조명이 약한 환경에서는 약간 더 비싼 활성 스테레오 비전 방법을 이용할 수 있다. 미크론 수준의 정밀도 측정이 필요한 도량형과 같은 응용 분야는 상대적으로 물체에 가깝게 배치되는 고가의 능동 레이저 시스템을 필요로 할 수 있는 반면, LIDAR 스캐닝 따위의 다른 활성 레이저 시스템은 더 낮은 절대 정확도로 훨씬 먼 거리를 달성할 수 있다. 창고나 공장과 같은 0.5~6m 거리의 실내 환경의 경우, ToF 기술은 다른 3D 기술로 할 수 없었던 특정 조명과 물체 질감 문제를 극복할 수 있는 소형 해결책을 제공한다.

지속적인 혜택

LUCID의 Helios 카메라(그림 12)에 탑재된 Sony의 DepthSense 센서와 같은 ToF 기술은 3D 이미징 시스템을 개발하는 사람들에게 새로운 기회를 제공한다. 첫째, 시스템은 단 하나의 카메라만 쓰기 때문에 개발자가 보정을 요구하지 않는다. 둘째, 시스템은 기존의 패시브 스테레오에 견주어 불리한 조명 조건의 영향을 훨씬 덜 받는다. 셋째, 카메라 출력은 포인트 클라우드 데이터(그림 13)를 직접 출력해 호스트 PC에서 처리량을 오프로드(offloading)한다. 마지막으로, 이 시스템은 고성능 능동 레이저 시스템보다 저렴하며 투사된 레이저 광 스테레오 시스템과 비교할 수 있다.

LUCID의 Helios 카메라는 6m의 범위와 약 5mm의 정확도로 여러 애플리케이션을 발견할 수 있을 것이다. 그뿐만 아니라 이전에 스테레오 카메라를 이용해 물체를 캡처한 시스템에도 쓸 수 있다.

3D 물체 탐지 애플리케이션은 Helios 카메라가 듀얼 헤드 스테레오 비전 시스템을 대체해 시스템의 크기와 무게를 줄이는 로봇 픽 앤 플레이스 머신을 포함한다.

또한, Helios ToF 카메라는 Helios 카메라에서 포인트 클라우드 데이터가 이미 계산됐으므로 물체를 인식하고 로컬리제이션에 필요한 처리를 줄일 수 있다. 이전에는 패턴 프로젝터를 써서 표면 기능이 없거나 거의 없는 영역을 조명했던 재료 검사 같은 애플리케이션의 경우, ToF 기술은 근적외선을 반사하는 물체만 필요로 하고 통신 매칭을 위한 텍스처가 필요하지 않기 때문에 Helios 카메라를 쓸 수 있다.

3D 이미징 기술은 산업용 애플리케이션에서 계속 중요한 역할을 할 것이다. 대상까지의 거리, 정확도와 정밀도, 환경 조명, 전체 비용 따위의 적용 요건에 따라 다른 3D 기술이 여느 기술보다 우수한 성능을 발휘하게 된다. 실시간 객체 감지가 필요한 애플리케이션을 위해 ToF 기술은 기존의 스테레오 비전 카메라 시스템보다 3D 깊이 성능을 향상하고 애플리케이션 복잡성을 단순화한다.

Sony의 DepthSense 센서가 탑재된 Helios ToF 카메라는 ToF 기술의 정확성, 정밀성, 속도를 더욱 향상시켜 애플리케이션 디자이너에게 새로운 3D 가능성을 열어주고 최종 고객에게 지속적인 혜택을 제공한다.

자료 제공: LUCID Vision Labs(www.thinklucid.com)