사용환경에 따른 ToF 성능 최적화 설계방법 1

Lucid

ToF(Time-of-Flight) 3D 기술 활용을 위해 엔지니어는 먼저 애플리케이션의 요소를 고려해야 한다. 모든 3D 기술은 이점과 한계가 있지만 애플리케이션이 실행될 환경과 대상 물체 속성을 먼저 이해함으로써 TOF의 장점을 최적화 할 수 있다.

실외 환경과 통제된 환경

카메라 시스템 사양을 다루기 전에 가장 먼저 고려해야 할 사항은, 애플리케이션을 내부에서 사용하는지 혹은 외부 요소로부터 보호되는지 또는 야외에서 사용하는 것인지 여부다. ToF 시스템을 보호하거나 봉인하는 경우는 특정 변수와 임의의 환경 요소를 제한하는 제어를 추가한다. 예를 들어, 실내 애플리케이션은 ToF 성능에 영향을 미치는 조명과 온도를 어느 정도 제어할 수 있다. 또한 실외 애플리케이션인 경우 다양한 환경 문제를 처리하기 위해 IP67 케이스와 940nm 발광 파장의 특정한 카메라 속성이 요구된다.

주변 광

ToF 카메라가 작동하려면 가능한 주변 광의 영향이 없이 방출된 빛의 위상 편이 또는 펄스 지연을 측정해야 한다. 카메라에 부착된 VSCEL 또는 LEDS에서 방출된 빛은 특정 파장이며, 일반적으로는 실내용 850nm와 실외용 940nm다. 두 파장은 가시광선 스펙트럼(380~740nm) 밖에 있기 때문에 사용된다. 예를 들어, LUCID Helios 컴팩트 ToF 카메라는 대부분의 주변 광을 제거할 수 있지만 추가적인 빛은 센서의 동적 범위를 감소시킬 수 있다. 경우에 따라 강한 주변 광이 존재하면 픽셀 채도가 발생한다.

실외 애플리케이션의 경우 940nm 방출 광을 사용하는 ToF 카메라를 선택하는 것이 중요하다. 왜냐면, 파장은 태양광 스펙트럼에서 자연적으로 발생하는 딥(dip, 주차수 감소) 현상 때문이다. 또한, 다른 파장의 빛을 제거하려면 대역 통과 필터 또는 롱 패스 필터가 필요하다.

태양광 스펙트럼은 ToF 카메라에서 방출되는 빛을 방해할 수 있다. 따라서 실외 ToF 카메라는 940nm에서 빛을 방출하도록 설정되어 태양광 스펙트럼이 자연적으로 감소한다(그림 1). 그러나 센서 감도(양자 효율)가 낮을수록 카메라가 작동하는 스펙트럼이 멀어지는 상쇄점이 발생한다(그림 2). 감도가 낮을수록 깊이 계산에 사용할 데이터가 줄어든다. 감도 보상을 위해 고전력 LED 또는 VSCEL이 사용된다.

제조 및 창고 시설과 같은 실내 공간에는 일반적으로 창문이 거의 없거나 전혀 없으므로 대부분의 햇빛이 제거된다. 따라서 실내 ToF 카메라는 850nm의 더 높은 감도 파장을 활용한다(그림 2: 850nm에서 56.6% QE). 실내 조명으로 생성되는 주변 광량은 동적 범위에 대한 손실을 최소화하면서 카메라에서 쉽게 상쇄된다. 그러나 백열등이나 할로겐과 같은 기존의 기존 조명 유형은 카메라가 너무 강하거나 카메라에 너무 가까운 경우 카메라의 동적 범위를 줄일 수 있다.

또한 AC 조명 (예: 형광등, 백열등 및 저렴한 LED)은 교류로 인해 ‘펄싱’ 효과를 생성할 수 있다(사진 2). 이 펄스는 장면에서 반짝이는 표면에 반사 될 수 있다. 전반적으로 실내 환경에는 고품질 LED와 같은 균일한 DC 조명을 사용하는 것이 좋다.

다양한 실내 조명 스펙트럼이 그림 3에 있다. 최상의 ToF 결과를 얻으려면 백열등 및 할로겐과 같은 기존 광원에서 실외 햇빛 및 실내조명 간섭을 최소화하는 것이 중요하다. 고품질 LED는 실내 ToF와 가장 잘 작동한다. 형광등과 같은 AC 광원은 때때로 교류로 인해 펄스 효과를 생성할 수 있다.

온도 드리프트에 대한 보정

ToF 카메라의 정확도와 정밀도는 카메라 온도에 따라 다르다. 온도 변화로 인해 깊이 계산이 표류한다. 예를 들어, 카메라 온도가 켜진 후 또는 주변 온도가 크게 변하는 동안 카메라 온도가 상승하면 장면의 물체가 카메라에서 멀어지거나 또는 멀어질 수 있다. 따라서 명시된 작동 온도 범위 내에서 일관된 성능을 위해서는 적절한 카메라 보정이 필수적이다. 일부 ToF 카메라 제조업체는 권장되는 예열 기간 후 일반적으로 20-40분 동안 특정 작동 온도로 카메라를 보정한다.

그러나 예열 후 다른 온도 변화는 어떨까? 창고와 같은 넓은 실내 공간에서는 베이 도어 또는 냉장 시스템 근처와 같은 다른 구역과 다른 수직 레벨(지면과 천장과의 근접)에서 서로 다른 온도가 발생된다. Helios ToF 카메라는 여러 온도 판독 값에서 깊이 드리프트를 보정하여 온도 변화를 보정했다. 이러한 교정은 온도 과도 동안 드리프트를 크게 줄인다. 그러나 보정 드리프트 보정이 모든 드리프트를 완전히 제거할 수는 없다는 것을 이해하는 것이 중요하다. 궁극적으로 ‘안정된’ 주변 온도에서 작동하는 온도 드리프트 보정으로 보정된 카메라는 일관된 ToF 카메라 성능을 위한 가장 현명한 시나리오다.

케이스 디자인- 날씨 교정

먼지와 물이 있는 까다로운 응용 분야의 경우 IP65/IP67 등급 ToF 카메라를 선택하는 것이 가장 좋다. IP(Ingress Protection) 등급 카메라는 IEC 표준 60529에 정의된 것처럼 입자 및 습기로부터 일정한 수준의 보호를 보장한다. IP65/67 등급의 카메라를 선택하면(등급이 지정되지 않은 카메라 주위에 추가 인클로저를 구축하는 것과는 달리) ToF 센서와 발광체 앞에 인클로저에 의해 도입되는 추가적인 투명 표면이 제거되므로 성능이 저하될 수 있다.

대상 및 카메라 동작

물리적 환경 문제가 발생한 후 카메라와 이미징 대상의 상대적인 움직임을 해결해야 한다. 이미징 중에 대상 또는 카메라가 움직이고 있는가?

기존 카메라와 달리 ToF 장치는 깊이 계산을 위해 여러 개의 마이크로 프레임이 필요하다. Helios의 경우, 4개의 마이크로 프레임은 단일 깊이 프레임을 구성하며, 이들 개별 마이크로 프레임은 서로 90°(0°, 90°, 180°, 270°)씩 단계화된다. Helios 카메라를 초당 30fps(fps)로 실행하려면 120 마이크로 프레임이 필요하다. 4개의 마이크로 프레임 동안 대상 또는 카메라가 너무 빠르게 움직이면 결과로 나타나는 깊이 프레임(및 포인트 클라우드 데이터)이 왜곡된다. 예를 들어, 컨베이어 벨트 기반 검사에서 카메라의 시야를 가로 질러 이동하는 대상의 속도는 Helios 카메라로 올바르게 이미지를 촬영할 수 있는 충분한 시간을 제공해야 한다.

프레임 속도

정확한 포인트 클라우드와 깊이 정보는 적절한 시각적 추적에 중요하다. 이러한 정보는 예를 들어, 물체 취급에서 로봇 팔의 움직임을 조정하거나 패키지 과충진 방지와 같은 볼륨 제어 또는 이물질 탐지 등이다. 사용자는 주어진 카메라 프레임 속도에 대해 물체의 최대 속도를 결정하기 위해 테스트해야 한다.

Helios 카메라에는 두 가지 모드가 있다. ‘Far Mode’는 최대 6m 범위에서 15fps로 실행된다. ‘Near Mode’는 최대 1.5m 범위에서 30fps로 실행된다. Helios Flex 카메라 모듈은 Helios 카메라에 비해 두 배의 프레임 속도(60fps/30fps)로 실행된다. 다른 ToF 카메라에서는 더 높은 프레임 속도가 가능하지만 일반적으로 해상도가 떨어진다.

반사와 확산 대상

ToF는 반사 반사율이 높거나 비 반사 표면을 흡수하지 않는 표면이 있는 대상에 가장 적합하다. 두 경우 모두 포인트 클라우드 왜곡으로 이어진다.

예를 들어, 검은 배관은 반사율이 낮고(검정색) 반사 표면이 높기 때문에 포인트 클라우드에 빈 곳과 스파이크가 모두 발생한다(사진 4: 예 c). 검은색이거나 매우 어두운 대상은 빛을 흡수함으로써 포인트 클라우드에 빈곳이나 구멍을 만드는 최소량의 빛을 반환한다. 반사도가 높은 대상은 픽셀을 포화시켜 포인트 클라우드에서 실제 위치보다 거리가 더 멀어 스파이크를 생성할 수 있다. 이러한 특성을 가진 대상은 ToF에 적합하지 않을 수 있다.

확산 표면과 반사도가 높은 대상은 ToF에 가장 적합하다(사진 4, 예 a, b, d). 이러한 대상은 정반사 없이 충분한 빛을 ToF 센서로 다시 보낸다. 그러나 일부 객체는 이상적이지는 않지만 장면 내에서 여전히 식별할 수 있는 속성을 나타낸다. 이러한 상황에서는 노출 시간과 게인, 이미지 누적과 필터링의 변경을 통해 대상 세부 사항을 증가시킬 수 있다.

노출 시간과 게인

최고의 노출 시간을 결정하면 반사율이 높거나 낮은 대상 모두에 대해 사용 가능한 깊이 데이터가 최대화된다. Helios 카메라는 1,000㎲및 250㎲의 두 가지 개별 노출 시간 설정과 높고 일반적인 게인 설정을 가능하게 한다. 1,000us 설정이 기본 노출 시간이며 허용되는 최대 노출 시간이다.

카메라에서 멀리 떨어진 장면이나 반사도가 낮은 물체를 촬영할 때는 더 긴 노출 시간과 높은 게인을 사용해야 한다. 더 짧은 노출 시간과 일반 게인은 카메라에 더 가까운 장면이나 포화 상태에 있는 물체에 사용된다.  <다음호에 계속>

자료 제공: Lucid(www.thinklucid.com)