사용환경에 따른 ToF 성능 최적화 설계방법 2
Lucid
이미지 누적
Helios 처리 과정은 향상된 깊이 계산을 위해 여러 프레임을 누적할 수 있다. 시끄러운 데이터를 생성하는 대상에 유용하다. 이미지 누적으로 깊이 프레임은 설정된 수의 프레임에 걸쳐 평균화되어 이미징 결과를 향상시킨다. 데이터를 계산하기 위해 더 많은 이미지를 캡처해야 하므로 누적된 프레임 수가 많을수록 심도 데이터 생성 속도가 느려진다.
신뢰 임계 값
깊이 데이터 신뢰도는 각 포인트의 강도 수준을 기준으로 한다. 복귀 신호가 너무 약하면 결과 깊이 데이터에 대한 신뢰도가 낮다. 임계값은 낮은 강도/신뢰도로 깊이 데이터를 제거하여 장면 선명도를 향상시킨다.
공간 필터링
공간 필터링은 주변 픽셀 간의 깊이 데이터 차이를 조정하고 평균하여 표면을 매끄럽게 만들어 노이즈를 줄인다. 또한 Helios 카메라는 공간 필터링에 가장자리 보존 기능을 사용하여 물체의 가장자리 선명도를 유지하면서 표면의 노이즈를 줄인다.
장면 복잡성의 단순화
모든 표면은 빛을 어느 정도 반사하여 ToF가 작동하는 데 필요하다. 그러나 카메라의 ToF 센서가 빛을 받기 전에 빛이 여러 번 반사되면 반사된 빛의 지연 및 변위 위치가 깊이 계산에 부정적인 영향을 미친다. 예를 들어, 타겟의 표면이 여러 각도로 여러 개의 오목하고 볼록한 코너가 있는 매우 복잡한 경우 또는 타겟이 다양한 각도의 표면이 있는 환경에 배치된 경우 ToF 방출된 광의 광학 경로가 결합되어 서로 간섭한다.
다중 경로
다중 경로는 빛이 여러 표면에서 반사되어 카메라로 다시 반사될 때 발생한다. 이러한 추가 바운스로 인해 왕복 광경로에 거리가 추가되어 물체 점이 더 멀리 나타나고 오목한 모서리가 둥글게 된다. 이 현상은 상자 모서리와 같은 오목한 물체를 이미징 할 때 발생한다. 장면에서 불필요한 밝거나 거울 같은 물체를 제거하면 다중 경로 오류를 줄일 수 있다.
다중 경로- 표면 배경 반사
다중 경로는 또한 대상이 놓인 표면 ‘바닥’의 반사율로 인해 발생한다. 특정 대상 모양의 경우 이 다중 경로는 물체를 뒤틀리게 한다.
예를 들어, 원통형 또는 구형은 빛이 표면 바닥에서 반사된 다음 곡선 대상을 향하여 마지막으로 카메라로 반사되기 때문에 보다 삼각형으로 보일 수 있다. 추가 반사는 반사광에 시간을 추가하여 실제보다 더 깊은 깊이 지점을 만든다. 대상 왜곡을 줄이려면 어두운 배경을 선택하고 대상 뒤의 반사 표면을 제거해야 한다.
작동 거리
모든 3D 카메라 기술에는 작동 거리 제한이 있다. ToF 도 예외는 아니다. 그러나 ToF 카메라는 기본적으로 특정 거리에 대해 공장 출하 시 보정되는 이점이 있다. 대부분의 ToF 카메라는 이미징 특성이 다른 특정 거리 모드와 함께 최대 작동 거리가 6-8m다. 이러한 모드는 서로 다른 방출 광주파수를 이용하여 프레임 속도를 줄이면서 정확도와 정밀도를 향상시킨다.
변조 주파수
ToF 카메라의 경우 깊이는 펄스광 또는 연속파(CW) 광을 사용하여 계산된다. Helios 카메라는 변조된 CW 방출광을 기반으로 깊이를 계산한다. 이 변조된 빛은 거리 모드에 따라 특정 주파수로 방출된다.
예를 들어, Helios 카메라에는 근접 모드 및 원거리 모드의 두 가지 작동 거리 옵션이 있다. 타겟이 멀수록 변조 주파수는 낮아진다. 그러나 변조 속도가 느릴수록 깊이 데이터의 정밀도가 떨어진다. 더 먼 거리에서 성능을 향상시키기 위해 Helios 카메라는 원거리 모드에서 2개의 변조 주파수를 사용하여 프레임 속도가 느려져서 깊이 데이터가 향상된다.
주변 (랩 어라운드)
물체가 카메라 작동 거리 모드(근거리 모드의 경우 1.5m 또는 원거리 모드의 경우 6m) 범위를 벗어나면 물체의 거리가 모호해진다.
예를 들어, 근거리 모드인 경우 1.8m 거리에 있는 물체는 0.3m에 표시된다. 다시 말해서 장면 뒤를 감싸면서 전면에 나타난다. 애플리케이션 설정에 따라 대상 뒤에 있고 최대 작동 거리를 벗어난 물체가 앞에 나타날 수 있어 깊이 측정을 방해할 수 있다.
이러한 물체 모호성을 줄이려면 먼저 작업 거리 모드를 올바르게 선택하고 원하지 않는 물체를 물리적으로 제거하거나 소프트웨어를 통해 장면의 범위를 제한해야 한다. Helios 카메라를 사용하면 시작과 종료 거리를 조정하여 장면 범위를 조정할 수 있다. 예를 들어 1.8m의 모호한 물체가 0.3m에 나타나면 장면의 시작을 0.4m로 줄일 수 있어 0.0m~ 0.4m 사이의 깊이 데이터를 효과적으로 제거 할 수 있다.
주파수 크로스 토크
훨씬 넓은 장면에서는 ToF 카메라를 서로 옆에 추가하여 더 넓은 영역을 캡처할 수 있다. 그렇게 할 때 각 카메라의 시야와 변조 주파수를 고려해야 한다. 변조된 방출된 빛이 모든 카메라에 대해 동일한 주파수이고, 각 인접 시야각을 가로 지르는 경우 간섭으로 인해 변동되거나 왜곡된 포인트 클라우드가 생성될 수 있다(사진 9). 이러한 유형의 크로스 토크 간섭은 ToF 모바일 로봇 또는 ToF 경로가 교차하거나 교차할 수 있는 다른 애플리케이션에서도 문제가 된다.
주파수 크로스토크를 제거하기 위해 사용자는 각 카메라의 변조 주파수를 변경하거나 카메라를 번갈아 트리거 할 수 있다. Helios는 채널이라고도 하는 5개의 서로 다른 변조 주파수를 허용하므로 크로스 토크 없이 5개 이상의 Helios 카메라가 함께 작동할 수 있다. 또는 소프트웨어나 하드웨어 트리거를 통해 여러 대의 카메라를 서로 연결하여 다른 시간에 트리거할 수 있다. Helios는 정확한 트리거를 위한 카메라 클럭을 동기화하기 위해 Precision Time Protocol(PTP IEEE 1588)을 지원한다.
요약
소니 DepthSense IMX556PLR 센서가 장착된 LUCID의 Helios ToF 카메라는 까다롭고 빠른 실시간 물체 감지와 Tof 3D 기술 개선을 위해, 속도와 정밀도 그리고 정확도를 높이며 통합 시간 및 비용을 줄인다.
ToF 작업 환경, 특정 대상 물체 특성 및 장면 배경을 신중하게 고려하여 최신 3D 카메라 시스템 (특성, 기능, 옵션 및 온보드 소프트웨어 처리)을 애플리케이션에 맞게 쉽게 조정할 수 있다. 조명이 렌즈 근처에 있고 움직이는 기계 부품이 없기 때문에 본질적으로 컴팩트한 카메라로 쉽게 통합할 수 있다. 가이드에 명시된 적절한 구성 힌트와 예제를 통해 ToF 카메라를 적시에 통합하여 어려움을 최소화하고 3D 깊이 성능과 결과를 최적화할 수 있다.
자료 제공: Lucid(www.thinklucid.com)
