ToF(Time-of-Flight) 3D 기술 활용 시 핵심 고려 사항
LUCID
애플리케이션의 특정 요소부터 정확히 파악
ToF(Time-of-Flight) 3D 기술을 활용하려면 엔지니어는 먼저 애플리케이션의 특정 요소를 고려해야 한다. 모든 3D 기술에는 이점과 제한 사항이 있지만 애플리케이션이 실행될 환경과 장면의 대상 개체 속성을 이해하면 Time of Flight의 이점을 최적화할 수 있다.
야외 vs 통제된 환경
카메라 시스템 사양을 다루기 전에 먼저 내부에서 사용할 것인지, 외부 요소로부터 보호할 것인지, 아니면 야외에서 사용할 것인지를 고려해야 한다. ToF 시스템이 내장 되어 있는지에 따라 특정 변수에 대한 추가적인 제어가 필요하고 임의의 환경 요인이 제한된다. 예를 들어, 실내 애플리케이션은 조명과 온도를 어느 정도 제어할 수 있다. 실외 애플리케이션인 경우, IP67 케이스와 940nm 발광체 파장을 규정하는 다양한 환경 문제를 처리하기 위해 특정 카메라의 속성이 필요하다.
주변 조명
ToF 카메라가 작동하려면 가능한 한 주변광이 적은 상태에서 방출된 빛의 위상편이(phase-shift) 또는 펄스 지연(pulse delay)을 측정해야 한다. 카메라에 부착된 VSCEL 또는 LED에서 방출되는 빛은 특정 파장으로, 일반적으로 실내 애플리케이션의 경우 850nm, 실외의 경우 940nm이다. 두 파장 모두 가시 스펙트럼(380~740nm) 범위 밖에 있다.
예를 들어, LUCID Helios 소형 ToF 카메라는 대부분의 주변광을 상쇄할 수 있지만 추가 조명이 있으면 센서의 동적 범위가 줄어들 수 있다. 경우에 따라 강렬한 주변광이 있는 경우 픽셀 포화가 발생한다.
따라서 실외 애플리케이션의 경우 940nm 방출광을 사용하는 ToF 카메라를 선택하는 것이 중요하다. 그 파장은 햇빛 스펙트럼에서 자연적으로 딥이 발생하기 때문이다. 또한 다른 파장의 빛을 제거하려면 대역통과(bandpass) 또는 통과 필터(longpass filter)가 필요하다.
태양광 스펙트럼은 ToF 카메라에서 방출되는 빛을 간섭할 수 있다. 따라서 실외 ToF 카메라는 햇빛의 스펙트럼이 자연적으로 떨어지는 940nm에서 빛을 방출하도록 설정된다(그림 1). 그러나 카메라가 작동하는 스펙트럼이 높을수록 낮은 센서 감도(양자 효율성)와 절충한다(그림 2). 민감도가 낮으면 깊이 계산에 사용할 수 있는 데이터가 줄어든다. 낮은 감도를 보상하기 위해 더욱 높은 전력 LED 또는 VSCEL이 사용된다.
산업, 제조 및 창고 시설과 같은 실내 공간에는 창문이 거의 또는 전혀 없기 때문에 대부분의 햇빛이 차단된다. 따라서 실내 ToF 카메라는 850nm의 고감도 파장을 활용한다(그림 2: 850nm에서 56.6% QE).
실내 조명에 의해 생성되는 주변광의 양은 카메라에 의해 다이내믹 레인지 손실을 최소화하면서 쉽게 상쇄된다. 그러나 백열등이나 할로겐과 같은 기존 조명은 너무 강렬하거나 카메라에 가까우면 다이내믹 레인지를 감소시킬 수 있다.
또한 AC 조명(예: 형광등, 백열등 및 저렴한 LED)은 교류로 인해 ‘펄스’ 효과를 일으킬 수 있다(이미지 2). 이러한 펄스는 반짝이는 표면에 반사될 수 있다. 전반적으로 실내 환경에서는 고품질 LED와 같은 균일한 DC 조명을 사용하는 것이 좋다.
다양한 실내 조명 스펙트럼이 그림 3에 나와 있다. 최상의 ToF 결과를 위해서는 백열등 및 할로겐과 같은 기존 광원으로 인한 실외 태양광 및 실내 조명 간섭을 최소화하는 것이 중요하다. 고품질 LED는 실내 ToF와 가장 잘 작동한다. 형광등과 같은 AC 광원은 교류로 인해 펄스 효과를 생성할 수 있다.
온도 드리프트 보상
ToF 카메라의 정확도와 정밀도는 카메라 온도에 따라 다르다. 온도 변화로 인해 깊이 계산이 드리프트 된다. 예를 들어, 카메라를 켠 후 또는 주변 온도가 크게 변하는 동안 카메라 온도가 상승하면 장면속 물체가 카메라에서 더 가깝거나 멀어진다. 따라서 명시된 작동 온도 범위 내에서 일관된 성능을 위해서는 적절한 카메라 보정이 필수적이다.
일부 ToF 카메라 제조업체는 권장 예열 시간(일반적으로 20~40분) 후에 특정 작동 온도로 카메라를 보정한다. 그러나 워밍업 후에, 창고와 같은 대형 실내 공간에서는 베이 도어 또는 냉장 시스템과 같은 섹션과 수직 레벨(지면에 가까울수록 천장에 가까움)에서 서로 다른 온도가 나타난다. Helios ToF 카메라는 여러 온도 판독 값에서 깊이 드리프트를 보정하여 온도 변화를 처리하도록 보정되었다.
이러한 보정은 과도한 온도 드리프트를 크게 줄였다. 그러나 보정된 드리프트 보상이 모든 드리프트를 완전히 제거할 수 없다는 것을 이해하는 것이 중요하다. 궁극적으로 안정된 주변 온도에서 작동하는 온도 드리프트 보상을 구현하는 것이 일관된 ToF 카메라 성능을 위한 가장 현명한 시나리오이다.
케이스 디자인- 방수
먼지와 물이 있는 애플리케이션의 경우 IP65/IP67 등급 ToF 카메라를 선택하는 것이 가장 좋다. IP(침투 보호) 등급 카메라는 IEC 표준 60529에 정의된 입자 및 습기로부터 보호 수준을 보장한다. 이미 IP65/67 등급의 카메라를 선택하면 추가 인클로저를 구축으로 인한 투명도가 필요하지 않다. P65/67 등급의 카메라를 선택하지 않으면 인클로저에 의해 ToF 센서 및 발광기 앞에 도입된 표면으로 인해 성능이 저하될 수 있다.
타겟 및 카메라 모션
물리적 환경 문제를 해결했다면 카메라와 이미징 대상의 상대적인 움직임을 해결해야 한다. 이미징을 하는 동안 대상이나 카메라가 움직이는 경우, 기존 카메라와 달리 ToF 장치는 깊이 계산을 위해 여러 개의 마이크로 프레임이 필요하다.
Helios의 경우 마이크로 프레임 4개가 단일 깊이 프레임을 구성하며 이러한 개별 마이크로 프레임이 서로 90°(0°, 90°, 180°, 270°)씩 단계적으로 구성됐다. Helios 카메라가 초당 30프레임(fps)으로 실행되려면 120마이크로 프레임이 필요하다. 대상이나 카메라가 이 4개의 마이크로 프레임으로 너무 빠르게 움직이면 결과 깊이 프레임(및 포인트 클라우드 데이터)이 왜곡된다.
예를 들어, 컨베이어 벨트 기반 검사에서 카메라의 시야를 가로질러 움직이는 표적의 속도는 카메라에 의해 적절하게 이미지화 되기에 적합한 시간을 제공해야 한다.
프레임 속도
정확한 시각적 추적을 위해서는 정확한 포인트 클라우드와 깊이 정보가 중요하다. 이러한 정보는 패키지 과충진 방지와 같은 볼륨 제어 또는 이물질 감지를 위해 사용된다. 사용자는 주어진 카메라 프레임 속도에 대한 물체 최대 속도를 결정하기 위해 테스트해야 한다.
Helios 카메라에는 두 가지 모드가 있다. 최대 범위 6m에서 15fps로 실행되는 원거리 모드와 최대 범위 1.5m에서 30fps로 실행되는 Near Mode이다.(Helios Flex 카메라 모듈은 Helios 카메라에 비해 두 배의 프레임 속도(60fps/30fps)로 실행된다.) 다른 ToF 카메라에서도 높은 프레임 속도가 가능하지만 일반적으로 해상도가 저하된다.
반사 및 확산 대상
ToF는 높은 정반사 또는 흡수성 무반사 표면이 없는 대상에서 가장 잘 작동한다.
예를 들어, 검은색 배관은 반사율이 낮고 반사 표면이 높기 때문에 포인트 클라우드에 보이드(voids)와 스파이크(spikes)를 모두 생성한다(이미지 4, 예 c).
검은색 또는 매우 어두운 대상은 빛을 흡수하여 반환한다. 포인트 클라우드에 빈 공간이나 구멍을 만드는 높은 정반사를 가진 대상은 픽셀을 포화시켜 실제 위치보다 거리가 더 가까운 포인트 클라우드에 스파이크를 생성할 수 있다. 이러한 속성을 가진 대상은 ToF에 적합하지 않을 수 있다.
반면 표면이 확산되고 반사율이 높은 대상은 ToF에 가장 적합하다(이미지 4, 예 a, b, d). 이러한 타겟은 정반사 없이 ToF 센서에 충분한 빛을 다시 보낸다. 이 때 노출 시간 및 게인, 이미지 축적 및 필터링의 변경을 통해 세부 사항을 증가시킬 수 있다.
노출 시간 및 게인
최적의 노출 시간을 결정하면 반사율이 높은 대상과 낮은 대상 모두에 대한 데이터가 최대화된다. Helios 카메라는 1,000µs 및 250µs의 두 가지 노출 시간 설정과 높은 게인 및 일반 게인 설정이 가능하다.
1,000us 설정은 기본 노출 시간이자 허용되는 최대 노출 시간이다. 카메라에서 멀리 떨어진 장면이나 반사율이 낮은 물체를 촬영할 때는 더욱 긴 노출 시간과 높은 게인을 사용해야 한다. 짧은 노출 시간과 일반 게인은 카메라에 가까운 장면이나 포화 상태로 보이는 물체에 사용된다.
이미지 축적
Helios 파이프라인은 깊이 계산을 위해 여러 프레임을 누적할 수 있다. 이것은 노이즈가 있는 데이터를 생성하는 대상에 유용하다. 이미지 누적을 사용하면 설정된 프레임 수에 대해 깊이 프레임이 평균화되어 이미징 결과가 향상된다. 다만 축적된 프레임 수가 많을수록 데이터를 계산하기 위해 더 많은 이미지를 캡처해야 하므로 깊이 데이터 생성이 느려진다.
임계값의 신뢰성
깊이 데이터 신뢰도는 각 포인트의 강도 수준을 기반으로 한다. 반환 신호가 너무 약하면 깊이 데이터에 대한 신뢰도가 낮아진다. 임계값은 낮은 강도/신뢰도로 깊이 데이터를 제거하여 선명도를 개선해야 한다.
공간 필터링
공간 필터링은 인접 픽셀 간의 깊이 데이터 차이를 조정하고 평균화하여 표면을 매끄럽게 만들어 노이즈를 줄인다. 또한 Helios 카메라는 공간 필터링에서 가장자리 보존을 사용하여 물체 가장자리 선명도를 유지하면서 표면 노이즈를 줄인다.
복잡한 장면의 단순화
모든 표면은 ToF가 작동하는 데 필요한 빛을 어느 정도 반사한다. 그러나 빛이 카메라의 ToF 센서에 수신되기 전에 여러 번 반사되면 반사된 빛의 지연 및 변위 위치가 깊이 계산에 부정적인 영향을 미친다. 예를 들어, 타깃의 표면이 다양한 각도로 여러 개의 오목 및 볼록한 모서리가 있는 매우 복잡한 경우 또는 타깃이 다양한 각도의 표면이 있는 환경에 배치되는 경우는 방출된 빛의 광학 경로가 결합하여 서로 간섭한다.
다중 경로
빛이 카메라에 다시 반사되기 전에 여러 표면에서 반사될 때 다른 경로가 발생한다. 이러한 추가 바운스는 왕복 빛 경로에 거리를 추가하여 오브젝트 포인트가 더욱 멀리 나타나게 하고 오목한 모서리를 둥글게 만든다. 이 현상은 상자의 모서리와 같이 오목한 물체를 촬영할 때 발생한다. 장면에서 불필요한 밝은 물체 또는 반사되는 물체를 제거하면 다중 경로 오류를 줄일 수 있다.
다중 경로- 표면 배경 반사
다중 경로 또한 대상의 표면 바닥의 반사 때문에 발생한다. 특정 대상 모양의 경우 이 다중 경로는 개체를 왜곡한다. 예를 들어, 원통형 또는 구형 모양은 빛이 표면 바닥에서 반사된 다음 곡선 대상 쪽으로 반사되고 마지막으로 카메라로 다시 반사되기 때문에 삼각형으로 나타날 수 있다. 추가 반사는 반환되는 빛에 시간을 추가하여 현실보다 더 멀리 있는 깊이 지점을 만든다. 타깃 왜곡을 줄이려면 더 어두운 배경을 선택하고 타깃 뒤의 반사율이 높은 표면을 제거해야 한다.
작업 거리 고려 사항
모든 3D 카메라 기술에는 작동 거리 제한이 있다. ToF도 예외는 아니다. 그러나 ToF 카메라는 즉시 특정 거리에 대해 공정에서 보정된다는 이점이 있다. 대부분의 ToF 카메라는 서로 다른 이미징 속성을 가진 특정 거리 모드가 있으며 이의 최대 작동 거리는 6-8m이다. 이러한 모드는 서로 다른 방출광 주파수를 활용하여 프레임 속도를 희생시키면서 정확도와 정밀도를 개선하는 데 도움이 된다.
변조 주파수
ToF 카메라의 경우 깊이는 펄스 광 또는 연속파(CW) 광을 사용하여 계산한다. Helios 카메라는 변조된 CW 방출광을 기반으로 깊이를 계산한다. 이 변조된 빛은 거리 모드에 따라 특정 주파수에서 방출된다.
Helios 카메라는 근거리 모드와 원거리 모드의 두 가지 작동 거리 옵션이 있다. 목표가 멀수록 필요한 변조 주파수는 낮아진다. 그러나 변조가 느릴수록 깊이 데이터의 정밀도가 낮아진다. 먼 거리에서 성능을 향상시키기 위해 Helios 카메라는 느린 프레임 속도를 희생하면서 깊이 데이터를 생성하는 2개의 변조 주파수를 사용한다.
흐릿한 물체
물체가 카메라 작동 거리 모드(근거리 모드의 경우 1.5m, 원거리 모드의 경우 6m) 범위를 벗어나면 물체의 거리가 모호해진다. 예를 들어 근거리 모드에서 1.8m 거리에 있는 물체는 0.3m에 나타난다.
애플리케이션 설정에 따라 대상 뒤에 있고 최대 작동 거리를 초과하는 물체가 앞에 나타나 깊이 측정을 방해할 수 있다. 이러한 물체의 모호성을 줄이려면 먼저 working distance 모드를 선택하고 원하지 않는 물체를 물리적으로 제거하거나 소프트웨어를 통해 장면의 범위를 제한해야 한다.
Helios 카메라는 시작 및 종료 거리를 조정하여 장면의 범위를 조정할 수 있다. 예를 들어, 1.8m의 모호한 물체가 0.3m에 나타나면 장면의 시작을 0.4m로 줄여 0.0m에서 0.4m 사이의 깊이 데이터를 효과적으로 제거할 수 있다.
주파수 혼선
훨씬 큰 장면에서는 ToF 카메라를 추가하여 넓은 영역을 캡처할 수 있다. 그렇게 할 때 각 카메라의 시야와 변조 주파수를 고려해야 한다. 변조된 방출광이 모든 카메라에 대해 동일한 주파수이고 인접한 각 시야를 가로지르는 경우 간섭으로 인해 변동하거나 왜곡된 포인트 클라우드가 생성될 수 있다(이미지 9). 이러한 유형의 누화 간섭은 ToF 경로가 교차하거나 교차할 수 있는 ToF 모바일 로봇 또는 기타 애플리케이션에서도 문제가 된다.
주파수 혼선을 제거하기 위해 사용자는 각 카메라의 변조 주파수를 변경하거나 교대로 카메라를 트리거 할 수 있다. Helios는 채널이라고도 하는 5개의 서로 다른 변조 주파수를 허용하므로 5개 이상의 Helios 카메라가 혼선 없이 함께 작동할 수 있다.
또는 여러 대의 카메라를 함께 연결하고 소프트웨어 또는 하드웨어를 통해 서로 다른 시간에 트리거 할 수 있다. Helios는 정밀한 트리거링을 위해 카메라 시계를 동기화하기 위한 정밀 시간 프로토콜(PTP IEEE 1588)을 지원한다.
요약
까다로운 실시간 물체 감지를 위해 LUCID의 Helios ToF 카메라와 Sony의 DepthSense IMX556PLR 센서가 제공하는 ToF 3D 기술 개선은 속도, 정밀도 및 정확도를 높일 뿐만 아니라 통합 시간과 비용을 절약한다.
ToF 작업 환경, 대상 물체 특성, 장면 배경을 신중하게 고려해 기능 및 옵션, 온보드 소프트웨어 처리를 통해 최신 3D 카메라 시스템을 쉽게 애플리케이션에 맞출 수 있다.
조명이 렌즈 근처에 있고 움직이는 기계 부품이 없기 때문에 콤팩트한 카메라로 통합할 수 있다. 가이드에 나와 있는 예를 통해 ToF 카메라를 적시에 통합하여 어려움을 최소화하고 3D 깊이 성능과 결과를 최적화할 수 있다.
자료 제공: LUCID(www.thinkLUCID.com)
