ToF 기술, 3D의 성능을 향상시키다

LUCID

3차원 이미징은 산업용 픽 앤 플레이스(pick and place), 팔레타이징, 창고, 로봇 등 계측 애플리케이션에서 드론, 안전 및 보안, 환자 모니터링과 같은 소비자 기반 제품에 이르기까지 다양한 산업에서 사용된다. 그러나 하나의 특정 3D 기술이 이러한 모든 유형의 애플리케이션을 해결할 수 없으므로 각 애플리케이션에 대한 적합성을 비교해야 한다(표1).

3D 이미징 시스템은 패시브 및 액티브 시스템으로 분류될 수 있다. 패시브 시스템에서, 주변 조명 또는 넓은 고정 조명이 물체를 조명하는 데 사용된다. 대안적으로, 액티브 시스템은 레이저 라인 스캐닝, 스펙클 투영(speckle projection), 프린지 패턴(fringe pattern) 투영 또는 비행시간(ToF, Time of Flight)을 포함하여 광을 공간적으로 또는 시간적으로 변조하는 다양한 방법을 사용한다. 패시브 및 액티브 3D 이미징 시스템에서, 물체로부터의 반사된 광은 종종 CMOS 기반 카메라에 의해 포착되어 구조물의 깊이 맵을 생성한 다음, 필요한 경우 물체의 3D 모델을 생성한다.

3D 이미징 시스템에서 캡처된 데이터는 수평(x), 수직(y) 및 거리 정보를 포함하는 포인트 클라우드(point cloud)라고 알려진 x, y 및 z 좌표로 표시된다(그림 1). 이것은 3D 포인트의 모음이다. 이 점들은 2D 의사 색 깊이 맵 이미지로 표현될 수 있으며, 여기서 다른 색은 물체가 3D 이미저와의 거리를 나타낸다(그림 1). 예를 들어, VGA 센서를 사용하여 이미지를 캡처하면 스캔 방법에 따라 최대 640x480 픽셀의 깊이 맵을 생성할 수 있다. 각 픽셀에서의 거리의 정밀도는 신뢰도 값에 의해 결정되며, 이는 3D 측정이 정확하게 보여준다.

패시브 스테레오(Passive Stereo, 수동 스테레오)

표준 패시브 스테레오 비전 시스템은 고정된 거리를 두고 위치한 두 대의 카메라를 사용하여 서로 다른 두 위치에서 장면을 캡처한다. 삼각 측량을 사용하면 두 이미지의 특징을 일치시켜 깊이 정보를 추출한다. 물체가 가까울수록 두 이미지에서 그 특징이 측면으로 더 많이 이동한다. 디스 패리티(disparity)라고 하는 이 이동의 크기는 피처의 거리를 계산하는데 사용된다.

단일 카메라를 사용하여 3D 삼각 측량 기반 시스템을 구현할 수도 있다. 고정 스테레오 카메라 쌍을 사용하는 대신 로봇에 장착된 단일 카메라가 카메라를 물체 주위의 다른 위치에 배치할 수 있다. 특징 추출 알고리즘을 사용하여 여러 이미지를 매핑함으로써 특수 교정 기술을 사용하여 3D 이미지를 다시 만들 수 있다. 이때 시스템 정확도는 로봇의 위치 정확도에 좌우된다.

패시브 3D 시스템은 장면 중 물체 또는 물체의 일부를 여러 카메라 중 어느 하나에서 볼 수 없는 오클루전(Occlusion, 폐색) 현상으로 어려움이 생길 수 있다. 이 경우 캡처된 각 이미지 내의 기능을 일치시킬 수 없으며 깊이를 계산할 수 없다. 대안으로 두 대 이상의 카메라를 사용하면 발생하는 폐색 효과를 줄일 수 있다(그림 2).

그러나 스테레오 기반 3D 시스템에서 깊이 정보를 결정할 때 잠재적인 문제를 나타내는 것은 오클루전 만이 아니다. 객체에 특징이 없거나 희미한 특징(예: 완전히 흰 벽)이 있는 경우 두 이미지 간에 일치하는 대응 쌍이 없다. 각 이미지에 일치하는 기능이 없으면 깊이 정보를 계산할 수 없다.

구조광

거의 특징이 없는 물체에서 특징을 찾는 문제를 극복하기 위해 구조광 시스템은 패턴화된 빛을 물체에 투사한다. 보기 어렵거나 존재하지 않는 특징을 찾는 대신, 카메라는 조명 프로젝터로 생성된 조명 패턴만 찾으면 된다. 구조광 시스템은 액티브 스테레오 시스템 또는 보정된 프로젝터 시스템의 두 가지 중 하나이다.

액티브 스테레오 시스템은 인공적인 텍스처가 물체에 투영되는 것을 제외하고는 패시브 스테레오 시스템과 매우 유사한 방식으로 작동한다. 투영된 텍스처는 LED 백라이트가 있는 기존의 레티클 프로젝터, 회절 광학 패턴이 있는 레이저 또는 디퓨저에서 생성된 레이저 스펙클과 같은 다양한 수단으로 만들 수 있다(그림 3).

프로젝션 패턴은 스테레오 카메라 시스템에 의해 포착되고 패시브 매칭과 동일한 방식으로 디지털 이미지 상관에 의해 특징 매칭이 얻어진다. 측정 정확도는 투사된 패턴의 해상도 외에 스테레오 카메라의 고유 정확도에 의해 제한된다.

여기서 논의된 구조광 시스템의 두 번째 범주는 교정된 투영 패턴을 사용한다. 단지 스테레오 상관관계를 위해 텍스처를 투사하는 대신, 캘리브레이션된 프로젝터의 패턴은 그 정확성이 알려져 있으며 3D 측정의 필수 부분을 구성한다. 프로젝터는 삼각 측량 깊이를 계산하는 데 하나의 카메라만 필요하다. 프로젝터는 스테레오 카메라 쌍에서 두 번째 카메라의 기능과 유사하게 삼각형에 알려진 꼭지점을 형성하기 때문이다. 이 시스템 중 가장 간단한 시스템은 물체 표면에 레이저 광선을 투사하는 레이저 라인 스캐너이다(그림 4).

레이저에서 축을 벗어난 위치에 있는 카메라에서는 반사된 레이저 선이 표면까지의 거리에 따라 양만큼 왜곡되어 나타난다. 물체를 스캔하려면 전체 물체 위로 레이저 선을 이동하고 일련의 이미지를 캡처해야 한다. 이들 반사된 라인 이미지를 분석함으로써, 물체의 표면 형상의 기하학적 재구성이 계산될 수 있다. 시스템 통합자는 이미지를 생성할 부품의 특성에 따라 다양한 방식으로 구성할 수 있는 개별 카메라와 레이저를 사용하여 이 시스템을 구축할 수 있다.

패시브 스테레오와 구조형 시스템은 의미 있는 결과를 얻기 위해 교정이 필요하다. 많은 제조업체에서 조명 장치와 카메라를 모두 단일 장치에 내장한 구조형 시스템을 도입했다. 이러한 시스템의 예로는 Intel RealSense가 있으며, 얼굴 인식과 같은 애플리케이션을 위한 저비용의 구조형 솔루션을 제공한다.

이러한 방식으로 개발자는 시스템을 보다 비용 효율적으로 공급할 수 있다. 산업 분야의 고급 계측 분야에서는, 하나 이상의 카메라가 있는 구조광이 패시브 스테레오 비전 시스템보다 정확도가 훨씬 높을 수 있다.

비행 시간(ToF, Time of Flight)

짧은 작동 거리에서 레이저 스캐너를 사용하면 10μm 이상의 표면 높이 분해능을 얻을 수 있지만 다른 응용 분야에는 더 긴 범위가 필요하다. 예를 들어 내비게이션, 사람 모니터링, 장애물 회피 및 모바일 로봇과 같은 애플리케이션에는 몇 미터의 작업 거리가 필요하다. 이러한 응용 분야에서는 종종 물체가 있는지 감지하고 몇 센티미터 이내의 위치를 측정하는 것이 필요하다.

자동화된 자재 취급 시스템과 같은 다른 응용 분야는 1-3m의 적당한 거리에서 작동하며 약 1-5mm의 보다 정확한 측정이 필요하다. 이러한 응용 분야의 경우 ToF 이미징은 경쟁 솔루션이 될 수 있다. ToF 시스템은 장치에서 방출된 빛이 장면의 물체를 반사하고 이미지의 각 지점에 대해 센서로 돌아오는데 걸리는 시간을 측정한다(그림 7).

ToF 카메라는 펄스 변조 또는 연속파(CW) 변조의 두 가지 기술 중 하나를 사용한다. Direct ToF라고도 하는 펄스 변조에는 짧은 빛의 펄스를 방출하고 카메라로 돌아오는 데 걸리는 시간을 측정하는 것이 포함된다(그림 8). CW 변조는 연속 신호를 방출하고 물체와의 거리에 비례하여 방출되는 광파와 복귀 광파 사이의 위상 편이를 계산한다(그림 9).

CW 위상편이 비행 시간(CW Phase-Shift Time of Flight)

CW 위상편이 기반장치는 Texas Instruments 및 Microsoft를 비롯한 여러 회사에서 제공되며 Sony Semiconductor Solutions(도쿄, 일본)의 최신 센서와 함께 제공된다. CW 위상편이 기반장치는 처음 SoftKinetics(Gewest, 벨기에)에서 개발했으며 현재는 Sony가 소유하고 있다. SoftKinetics 기술은 고효율로 고속 샘플링이 가능한 전류보조 광자 복조(CAPD, Current Assisted Photonics Demodulation) 픽셀 구조를 특징으로 한다(그림 10a).

이 ToF 픽셀 기술은 소니의 후면 조명 센서(BSI, backside illuminated sensor) 기술과 결합하여 새로운 DepthSense® ToF 센서를 만든다. BSI 기술은 NIR 파장에서 더 나은 집광 효율을 제공한다(그림 10b). 새로운 Sony IMX556PLR은 640x480 해상도의 1/2 인치 센서로 60fps에서 실행되는 10μm x 10μm 픽셀이다.

최근 소니의 DepthSense 센서가 LUCID Vision Labs(캐나다 리치몬드)의 Helios ™ ToF 3D 카메라에 통합됐다. 카메라는 서로 다른 주파수로 변조된 4개의 온보드 850nm VCSEL 레이저 다이오드의 빛을 사용하여 3개의 작동 거리에서 작동할 수 있다(그림 11).

이 카메라의 시야각은 65° x 46°이며 작동 범위는 0.3 ~ 6m이다. 100MHz의 최고 변조 주파수에서 이 카메라는 0.3 ~ 1.5m 작동 범위에서 2.5mm 이상의 정밀도와 5mm의 정확도를 제공한다. 카메라는 칩 외부에서 계산하지 않고 장치에서 직접 읽을 수 있는 3D 포인트 클라우드 데이터를 생성하는 온 보드 처리를 수행한다.

포인트 클라우드 데이터는 카메라의 GigE 인터페이스를 통해 전송되고 LUCID의 Arena 소프트웨어 개발 키트(SDK)를 사용하여 추가로 처리될 수 있으며, 이를 통해 사용자는 C, C++ 또는 C#에서 카메라와 인터페이스 하는 맞춤형 프로그램을 작성할 수 있다.

과거에는 카메라 공급 업체가 고객에게 드라이버를 제공하여 호스트 컴퓨터에서 구성하고 제어할 수 있도록 해야 했다. 머신 비전 카메라를 위한 프로그래밍 인터페이스인 GenICam이 도입되면서 카메라 인터페이스는 사용자의 API와 분리되어 여러 카메라 드라이버를 작성할 필요가 없다.

이제 GenICam 3.0이 출시됨에 따라 추가 데이터 변환이 없이 깊이 및 진폭 데이터 또는 처리된 포인트 클라우드 데이터를 카메라에서 읽을 수 있다. Helios 카메라는 GenICam과 호환되므로 현재 사용 가능한 상용 GenICam 소프트웨어 패키지와 매우 빠르게 통합될 수 있다.

환경 고려

모든 애플리케이션의 요구를 충족시키는 3D 이미징 기술은 없다. 액티브 또는 패시브 이미징 시스템을 선택할 때 반드시 추가 광원이 있는지, 어떤 유형의 표면을 이미징 해야 하는지, 그리고 시야에 있는 물체가 정반사인지 또는 다중 반사를 생성하는 지와 같은 요소를 고려해야한다.

햇빛이나 반짝이는 물체의 정반사와 같은 광원은 스테레오 비전 시스템에 사용되는 카메라를 쉽게 포화를 시킨다. 또한 반대로 조명 수준이 낮으면 노이즈가 발생할 수 있다(그림 12). 저조도 환경의 경우 약간 더 비싼 액티브 스테레오 비전 방법을 사용할 수 있다.

미크론 수준의 정밀 측정이 필요한 계측과 같은 응용 분야는 물체에 상대적으로 가깝게 배치된 고가의 액티브 레이저 시스템을 필요로 하는 반면, LIDAR 스캐닝과 같은 다른 액티브 레이저 시스템은 절대 정확도가 낮으면서 훨씬 더 큰 거리를 달성할 수 있다.

창고 및 공장과 같이 거리가 0.5 ~ 6m 인 실내 환경의 경우 ToF 기술은 다른 3D 기술로는 불가능했던 특정 조명 및 물체 질감 문제를 극복한다.

지속적인 혜택

LUCID의 Helios 카메라에 사용된 Sony의 DepthSense 센서와 같은 ToF 기술(그림 13)은 3D 이미징 시스템을 개발하는 사람에게 새로운 기회를 제공한다. 첫째, 시스템은 단일 카메라 만 사용하기 때문에 개발자가 교정할 필요가 없다. 둘째, 시스템은 전통적인 패시브 스테레오에 비해 불리한 조명 조건의 영향을 훨씬 덜 받는다. 셋째, 카메라는 포인트 클라우드 데이터(그림 14)를 직접 출력하여 호스트 PC에서 처리를 오프로드 한다. 마지막으로, 이 시스템은 고성능 액티브 레이저 시스템과 프로젝션된 레이저 광 스테레오 시스템보다 저렴하다.

6m의 범위와 약 5mm의 정확도를 가진 LUCID의 Helios 카메라는 다양한 애플리케이션를 찾을 수 있다. 이러한 카메라는 이전에 객체를 캡처하기 위해 스테레오 카메라를 사용했던 시스템에서 사용될 수 있다. 3D 물체 감지 애플리케이션에는 Helios 카메라가 듀얼 헤드 스테레오 비전 시스템을 대체하여 시스템의 크기와 무게를 낮추는 로봇식 픽 앤 플레이스 기계가 포함된다.

Helios ToF 카메라는 포인트 클라우드 데이터가 Helios 카메라에서 이미 계산되었으므로 PC에서 객체를 인식하고 현지화 하는데 필요한 처리 시간을 줄인다. 표면 특징이 거의 없거나 전혀 없는 영역을 조명하기 위해 패턴 프로젝터를 사용했던 재료 검사와 같은 응용 분야의 경우, ToF 기술은 물체에 NIR 광선만 반사하기 때문에 Helios 카메라를 사용할 수 있다. 대응 일치를 위해 텍스처가 필요하지 않다.

3D 이미징 기술은 산업 응용 분야에서 계속 강력한 역할을 수행할 것이다. 목표까지의 거리, 정확도 및 정밀도 수준, 환경 조명 및 전체 비용과 같은 애플리케이션 요구 사항에 따라 다른 3D 기술은 그림 14를 보여준다. Helios 카메라는 포인트 클라우드를 호스트 PC로 출력할 수 있다. 이 예에서, 포인트 클라우드는 2m 거리의 판지 상자 팔레트로 생성된다(그림 14: 팔레트에 있는 판지 상자의 원본 이미지. 지속적인 혜택은 다른 것보다 더 잘 수행된다).

실시간 물체 감지가 필요한 애플리케이션의 경우 ToF 기술은 3D 깊이 성능을 향상시키고 기존의 스테레오 비전 카메라 시스템에 비해 애플리케이션의 복잡성을 단순화한다. Sony의 DepthSense 센서가 장착된 Helios ToF 카메라는 ToF 기술의 정확도, 정밀도 및 속도를 더욱 향상시켜 애플리케이션 설계자에게 새로운 3D 가능성을 열어주고 최종 고객에게 지속적인 혜택까지 제공한다.

자료 제공: LUCID(www.thinkLucid.com)