3D 이미징 - Time of Flight(ToF)의 적기

산업용 시스템의 효율성과 자율성을 향상시키기 위해 유도 로봇 및 기타 자율 시스템에 사용되는 비전 시스템의 필요성이 증가하고 있다. 현재 시장의 추세는 물체 인식이 가능하며 정확도가 높은 3D 비전이다. 대표적인 3D 기술에는 각자의 장단점을 지닌 스테레오비전, 레이저 삼각 측량, 구조형 광, ToF가 있다. Teledyne e2v에서 제공한 이 글을 통해 현재 3D 비전에 대한 특별한 시각을 제공하며 차세대 전용 CMOS 이미지 센서의 디자인을 주도하고 있는 Time of Flight(ToF)에 대해 알아보고자 한다.

3D 이미징 기술의 발전은 수십 년 전부터 시작되었지만 최초의 상용 제품 출시는 21세기 초반 유명 상업 스튜디오가 3D 블록버스터 영화 제작을 위해 최신 HD 비디오카메라를 사용하면서 시작 되었다. 그 이후로이 기술은 소비자 시장뿐만 아니라 머신 비전 업계에서도 급속하게 발전해 왔다.
현재 industry 4.0 버전 혁명으로 3D 비전을 위한 프로세스 모니터링 및 자동화 기능이 한층 강화된 중요한 새 드라이버가 등장했다. 전통적인 2D 비전 접근 방식은 복잡한 물체 인식 및 치수 측정 애플리케이션에 필수적인 정확도 및 거리 측정을 필요로 하지 않으며 인간/로봇 공동 작업의 증가 추세와 같은 복잡한 상호 작용 상황을 더 이상 처리 할 수 없다.
이 기사에서는 산업 시장을 위한 3D 이미징 기술에 대해 살펴보고 Time of Flight(ToF)가 현재 가장 유망한 기술로 손 꼽히는 이유에 대해 알아본다. 또한 ToF 애플리케이션 전용 CMOS 이미지 센서의 최신 개발 내용을 검토해본다.

3D 이미징 개요
3D 이미지를 얻기 위한 주요 기술에는 스테레오 비전, 구조형 광(structured light) 3D 이미징, 레이저 삼각 측량 및 ToF 네 가지가 있다.
마지막 세 가지 기술은 인공 광원을 사용해야하는 '활성(active)'이미징 제품군의 일부이다.

스테레오 비전
스테레오 비전은 물체에 대한 시각적 정보를 얻기 위해 두 대의 카메라를 필요로 한다. 캘리브레이션 기술은 카메라 사이의 픽셀 정보를 정렬하고 깊이에 대한 정보를 추출하는데 사용되는데, 이 방식은 우리의 두뇌가 거리를 시각적으로 측정하는 방법과 유사하다. 따라서 인지과정의 시스템으로의 호환은 상당한 계산적 노력이 요구된다.
스테레오 비전에는 표준 이미지 센서를 활용할 수 있으므로 비용이 절감된다. 더 정교한 센서 (예: 고성능 센서 또는 글로벌 셔터)를 사용할수록 시스템 비용이 높아진다.

물리적 기준선에 대한 요구 사항으로 인해 더 큰 치수 모듈이 필요한 것과 같이 거리 범위는 기계적인 제약으로 인해 제한된다. 정밀한 기계 정렬 및 재 교정 또한 필요하다. 게다가, 이 기술은 불량 및 변화하는 조명 조건에서 잘 작동하지 않고 물체의 반사 특성에 크게 좌우되는 경향이 있다.

구조형 광(structured light)
구조형 광 기술에서, 미리 결정된 광 패턴이 대상물에 투영되면 깊이 정보는 패턴이 왜곡되는 방식을 분석함으로써 얻어진다. 또한 구조형 광 기술은 프레임 시간과 모션 블러에 대한 개념적 제한이 없으며, 다중 경로 인터페이스에 강하다.
그러나 활성 투광(active illumination)에는 렌즈와 패턴 프로젝터가 정밀하고 안정적으로 정렬된 복잡한 카메라가 필요하다. 이에는 디 캘리브레이션(de-calibration)의 위험이 있으며, 반사된 패턴은 옥내 용도로 제한될 뿐만 아니라 주변 환경의 광학적 간섭에도 민감하다.

레이저 삼각 측량
레이저 삼각 측량 시스템은 물체의 높이 값과 관련된 빛의 선을 기하학적 오프셋을 측정하는 방식이다. 이것은 물체의 스캐닝에 기반을 둔 1차원 이미징 기법이다.
레이저가 얼마나 멀리 떨어져 있는지에 따라 레이저 점이 카메라 시야 내의 다른 위치에 나타난다. 레이저 점, 카메라 및 레이저 이미터가 삼각형을 형성하기 때문에 이 기술은 삼각 측량으로 불리게 되었다.

고해상도 레이저는 일반적으로 고정밀, 안정성 및 저온 드리프트가 필요한 변위 및 위치 모니터링 애플리케이션에 사용된다. 단점은 이 기술은 단거리 범위만 커버가 가능하고 주변광에 민감하며 스캐닝 애플리케이션에만 국한된다는 점이다. 또한 복잡한 알고리즘과 보정도 필요하다. 게다가 이 기술은 구조화된 표면이나 복잡한 표면에 민감하다.

ToF(Time of Flight)
ToF 기법은 카메라와 촬영 대상 사이에서 광자가 비행하는 시간을 직접적으로 또는 이중 시간을 계산하여 거리를 측정 및 구현하는 모든 방법을 의미한다.
이 측정은 직접(D-ToF) 또는 간접적으로(I-ToF) 수행된다. D-ToF 개념은 간단하지만 복잡하고 제한적인 시간 분해 장치가 필요하다. 반면, I-ToF는 광원이 이미지 센서와 동기화되기 때문에 간단한 방법으로 작동 할 수 있다. 빛의 파장은 카메라 셔터와 함께 단계적으로 방출된다. 광 펄스 탈동기화는 광자의 ToF를 계산하는 데 사용되며, 이로 인해 방출 지점과 유도 대상 간의 거리 추론이 가능하다.

기술 비교
각 기술의 장단점은 표 1에 요약 되어 있다. 현재 3D 기술은 거의 스테레오 비전, 구조형 광 카메라 또는 레이저 삼각 측량을 기반으로 하는 3D 시스템에 주로 사용되고 있다.
이러한 시스템들은 고정된 작동 거리에서 작동하며 특정 감지 영역에 대해 중요한 교정 작업을 필요로 한다. ToF 시스템은 이러한 문제를 극복하여 애플리케이션의 관점에서 더 많은 유연성을 제공한다. 하지만 픽셀 복잡성 또는 전력 소비로 인해 대부분의 상업용 솔루션은 여전히 VGA(Video Graphics Array) 이하의 이미지 해상도를 유지하고 있다.

ToF용 CMOS 센서 솔루션
ToF가 제공하는 높은 수준의 애플리케이션 관점은 Teledyne e2v가 1.3MP 해상도와 1인치 광학 포맷을 갖춘 최초의 3D ToF 솔루션을 개발하게 만들었다 해도 과언이 아니다.
이 센서는 특정 고감도 및 고 동적 범위 CMOS 센서를 기반으로 한다.
다음과 같은 접근법들이 그레이 스케일 이미지와 깊이 융합 기능을 가능하게 한다.
•최첨단 1.3MP 거리화상 해상도: 최대 해상도, 고속에서 정확도 ±1㎝의 거리화상
•빠르게 움직이는 물체의 3D 이미지: 최대 120fps(초당 프레임), 최대 해상도에서 30fps 거리화상, 높은 글로벌 셔터 효율
•광범위한 3D 탐지: 90dB의 HDR(High Dynamic Range)로 0.5m에서 5m까지 커버 가능
•가시광선 및 근적외선(NIR) 고감도 센서: 850㎚에서 50% QE(Quantum Efficiency), HDR: 야간 투시 기능
•임베디드 3D 프로세싱: 다중 ROI(regions of interest)

데모 플랫폼은 거리화상 또는 포인트 클라우드 형식으로 출력되는 고유한 1.3MP의 깊이 해상도를 평가하기 위해 개발되었다.
이 ToF 데모 플랫폼은 그림 5와 같이 고감도 1.3MP 센서를 기반으로 한 1인치 광학 포맷 보드 카메라 시스템으로 구성되어 있다. 데모 플랫폼은 최대 1.3MP 해상도로 ToF 원리를 수행하기위해 광원 및 광학 장치인 다중 통합 온칩 기능(게이트 센서)을 내장한다.
적합한 5T CMOS 센서와 ToF를 사용한 이미징
액티브 이미징은 인공 광원을 사용한다. 액티브 이미징을 알기 쉽게 설명하자면 저조도 환경에서 적외선 신호를 사용하여 거리를 측정하는, 최신 카메라에서 볼 수 있는 보조 오토 포커스 기능이다.
액티브 이미징은 거친 날씨(비, 안개 등)에서 이미지를 생성하는 데 사용할 수 있다. 동일한 센서를 사용하면 범위 게이팅과 ToF의 두 가지 액티브 이미징 기술을 수행 할 수 있다.
범위 게이팅은 펄스 광 파면과 특정 고속 셔터링 카메라 이 두 가지 구성 요소를 결합한다. 빛은 표적을 향해 보내지고 반사면에서 되돌아오면 카메라의 고속 전자 셔터가 바로 그 순간 켜진다.
범위 게이트 이미징은 빛과 센서의 동기화에 따라 상평면(image plane)의 거리를 선택할 수 있다. 타겟이 비, 안개 또는 연무제 입자와 같은 빛이 잘 퍼질 수 있는 환경에 의해 카메라로부터 분리되어도 일부 광자는 여전히 카메라 쪽으로 향하게 된다. 이 광자들은 'ballistic photons'라고 불린다. ballistic photons의 수가 적지만 이 광자의 포착을 동기화하면 확산 매체를 통해 이미지를 만들 수 있다. 광원의 세기에 따라, 범위 게이팅 기술은 거의 제한 없이 작동이 가능하다.
ToF는 범위 게이팅과는 다르게 ToF 라이트가 직접 반사면이 있는 거리를 측정한다. ToF를 기반으로 한 시스템은 물체가 짧은 거리에 있기 때문에 빠른 글로벌 셔터 카메라를 필요로 한다. 액티브 이미징과는 달리 ToF는 특정 상평면에 초점을 맞추지 않으므로 관심 범위 내에서 직접 거리 이미징을 허용한다.

Teledyne e2v는 5 트랜지스터 픽셀 및 타이밍 생성을 기반으로 교대로 라인에 Δt 기간을 약 10 나노초 이하로 달성하는 독점 기술을 개발했다. 이것은 시간의 제약을 받는 해상도의 엄청난 향상을 의미한다. 고감도/저노이즈의 1.3MP CMOS 이미지 센서에는 다중 통합 또는 '축적' 모드 기능이 포함되어 있다.
또한 오드와 저장 노드 캐패시터 사이의 거리이며 일명 ‘소광비(extinction ratio)’라 불리는 기생 수광 감도(PLS) 비율은 카메라 게이팅 '오프'기간 동안 기생하는 빛을 거부함으로써 선명한 이미지를 생성하는 데 필요하다.

BORA 센서 - 최첨단 ToF 1.3MP 센서
ToF를 다음 단계로 끌어올리기 위해 Teledyne e2v는 근거리에서 작동하는 시스템을 위한 새로운 BORA 1.3MP CMOS 이미지 센서를 개발했다. BORA는 업계 최초로 최적화된 다중 통합 모드와 낮은 조명 조건에서 우수한 성능을 제공한다. 이것은 기존의 ToF 시스템의 정확도 및 프레임 속도 성능을 유지하면서 전자 글로벌 셔터를 탑재하며 완성되었다.

자료제공 : Teledyne e2v의 이미지 센서 전문가 Pierre Fereyre,
마케팅 매니저 Ha Lan Do Thu