고해상도 ToF(Time-of-Flight) 카메라

빛은 초당 300,000,000 미터의 속도로 여행한다. 두 지점 사이에서 광속이 이동하는 데 걸리는 시간을 측정하면 두 지점 간 거리를 측정할 수 있다. 이 원리는 ToF 카메라에 사용되는 측정 기술의 핵심이다. ToF 카메라의 각 픽셀에는 밝기 값뿐만 아니라 빛을 반사하는 면과 카메라 사이의 거리 정보도 센티미터의 정밀도로 전달되다. 이 글에서는 Basler ToF 카메라의 기본 개념, 특히 빛을 사용한 이 카메라의 거리 측정 방식에 대해 알아본다.

Basler의 ToF 카메라는 640×480 픽셀 해상도를 갖고 있으며, 초당 15 프레임을 제공한다. 이는 초당 460만 번의 거리 측정에 해당한다. 더 높은 해상도의 카메라도 준비 중이다. 이 측정 기술의 기본 원리, 정밀도, 그리고 이 기술이 영향을 주는 요소들에 대해 논의하려면 먼저 구성에 대해 알아야 한다.

구성
여기에서 제시하는 ToF 카메라는 다음 부품들로 구성되어 있다. (그림 1 참조)
- 광원
- 광학 부품
- 센서
 -제어 유닛
- 평가 유닛
- 인터페이스
이들 구성 부품을 하나씩 자세히 알아보자.

광원
광원은 측정할 면을 비추며 렌즈 구경 개방과 조화를 이룬다. 상당한 거리에 있고 반사율이 낮은 면에도, 충분한 조명을 제공해 짧은 노출 시간과 높은 프레임 속도를 지원할 수 있어야 한다.
광원은 측정과정에서도 중요한 구성 요소이며 ToF 카메라 전자 회로의 정교한 기술을 이용해 제어된다.
광원은 이미지 캡처 중에 수천 번 켜졌다 꺼진다. 개별 광 펄스 길이는 몇 나노초에 불과하기 때문이다. 노출 시간에 대한 카메라 변수에 따라 이미지당 펄스 개수가 결정된다. 정밀 측정을 위해서는 동일한 기간, 상승 및 하강 시간에 걸쳐 광 펄스를 정교하게 제어해야 한다. 나노초 수준의 사소한 편차로도 30센티미터까지 거리 측정 오류가 발생할 수 있으므로 밝기 프로필은 카메라 별로 개별 보정된다.
정확한 펄스 특성을 제공할 수 있는 LED와 레이저 다이오드는 이러한 까다로운 작업의 광원으로 안성맞춤이다. 카메라가 오작동하는 경우라도 카메라의 범위 안에서 눈의 안전을 보장할 수 있어야 하기 때문이다. 이것은 광학 복사 보호를 위한 공인 검증 기관의 전문가를 통한 검증에 의해 확인되었다. 근적외선 범위의 빛은 사람의 눈에 보이지 않기 때문에 문제가 되지 않지만, 기본적으로 전체 광 스펙트럼의 어떤 부분이든 측정에 관련되어 있다.

광학 부품
렌즈는 면에서 센서로 반사되는 광 펄스를 재현한다. 각 카메라는 면의 공간 좌표에 맞게 기하학적으로 보정된다. 따라서 일단 보정 절차가 이루어진 후에는 초점 거리, 초점 및 구경은 수정되지 않는다. 렌즈 뒤의 광학 대역통과 필터는 카메라 자체 광원에 사용된 파장만 통과시킨다. 그 이유는 방해가 되는 외부의 빛에 센서가 과노출되지 않도록 막기 위해서 이다.

센서
Basler ToF 카메라는 ToF(Time-of-Flight) 측정을 위해 Panasonic이 특별히 개발한 최신 CCD 이미지 센서를 사용한다. 센서의 전자 셔터는 입사광에 의해 센서에 충분한 전하가 생성될 때까지 수많은 광 펄스와 정확히 동기화되도록 실행된다. 일단 전하가 축적되고 나면 12비트 아날로그/디지털 컨버터를 통해 판독된 뒤 평가 유닛으로 전달된다. 조명과 센서의 판독 속도가 이 과정의 프레임 속도를 좌우한다.
ToF 측정을 위해 컬러 센서를 사용할 경우 픽셀 네 개 중 한 개만 사용할 수 있다. 컬러 이미지를 재현하려면 세 개의 다른 픽셀이 필요하다. ToF 측정과 컬러 이미지 촬영 간에 센서의 역할을 빠르게 전환할 수 있지만 한 번에 두 가지 일을 할 수는 없다.

제어 유닛
카메라 전자 제어 유닛은 센서의 전자 셔터 개폐와 정교하게 동기화된 광 펄스 시퀀스를 실행한다. 이 유닛은 센서 전하 판독 및 변환을 실행한 뒤 분석 유닛 및 데이터 인터페이스에 전달한다. 이를 위해서는 강력한 FPGA가 필요하다.

평가 유닛
단일 판독 경로의 데이터를 사용하여 평가 유닛은 녹화된 물체(포인트 클라우드)를 위한 공간 좌표뿐 아니라 정확한 강도 프로필과 심도 맵을 계산할 수 있다. 강도 프로필은 밝기를 픽셀 당 16비트 정수로 표현된다. 카메라에 내장되어 있는 광원의 파장은 여기에서 매우 중요하다. 근적외선 범위의 빛은 사람의 눈에 보이지 않기 때문에 물체에 부딪혔을 때의 근적외선의 반사 특성을 직접 체험할 수는 없다. 하지만 가시광과 커다란 차이를 보이기 때문에 강도 프로필은 우리가 인지하는 것과는 상당히 다를 수 있다.
심도 맵은 빛을 반사하는 면과 카메라 사이의 거리를 도표로 나타낸 뒤 다시 픽셀 당 하나의 16비트 정수로 나타낸다. 엄격히 말해 이러한 정수는 빛이 전파된 뒤 센서로 돌아가기까지 광 펄스의 여행 시간을 나타내며 해당 경로에서 빛이 거쳐 간 모든 우회로 및 최단 노선에 영향을 받는다. 다시 말해 결과에 오류가 개입될 여지가 있는 것이다.
심도 맵은 8비트 숫자로 표시되는 적, 녹, 청으로 구성된 컬러 이미지로 출력될 수도 있다. 이는 주로 시각화 보조 수단으로 유용하다. 적색 표면은 가깝고, 청색 표면은 멀리 있는 것이다. 모노크롬이든, 멀티 컬러든 심도 맵의 색상 구분은 ‘오프셋’ 및 ‘심도’ 변수를 이용해 구성된다.
신뢰도 차트(confidence chart)에는 심도 맵의 오류 척도가 픽셀 당 하나의 16비트 정수로 포함된다. 숫자가 클수록 해당 픽셀에 대한 측정 결과의 정밀도가 낮아진다. 예를 들어 표면이 아주 어둡거나 과노출이 발생한 픽셀의 경우가 여기에 해당된다. 신뢰도 차트는 사용자가 심도 맵의 측정 값 신뢰도를 보장할 수 있도록 애플리케이션을 조절할 기회를 제공한다.
포인트 클라우드는 픽셀 당 세 개의 32비트 부동 소수점 수로 구성되어있다. 이 숫자는 카테시안 좌표계로 표시한 반사면의 공간 좌표이며 단위는 밀리미터로 표시된다. 이들 값을 정확히 계산하기 위해 카메라는 공장에서 하나씩 기하학적 보정을 거친다. 신뢰할 수 없는 측정값을 가진 픽셀은 신뢰도 차트에서 높은 값을 갖고 널 또는 NaN(Not a Number)의 거리로 출력된다. 이 신뢰도 임계값은 수정할 수 있다.

인터페이스
카메라에 기가비트 이더넷 인터페이스가 포함되어 있어 저렴한 표준 케이블로 먼 거리까지도 모든 호스트 PC에 연결할 수 있다. GigE Vision 및 GenICam 통신 프로토콜은 제조업체와는 달리 독립된 산업용 카메라를 위한 입증된 표준이다.

ToF 카메라의 작동 원리

S0에서의 초기 셔터 기간 중에 모든 전하가 수집되고, S1에서의 지연된 셔터 기간 중에 아무런 전하도 수집되지 않으면(즉 S1 = 0) 가장 작은 측정 가능 거리가 측정된다. 그러면 공식에 따라 d=0이 되는 것이다.
S1에서의 모든 전하와 S0에서의 모든 전하가 파악되면 최대 측정 가능 거리가 측정된다. 그러면 공식 d=(c/2)× tp가 된다. 이는 또한 이 방식에 대한 광 펄스 폭에 따라 최대 측정 가능 거리가 결정됨을 나타내는 지표이다. 예를 들어, tp가 최소 47나노초 이상 이라면 최대 7미터까지 측정할 수 있다.

정밀도
절대 정밀도는 측정 거리와 실제 거리 사이의 평균 편차이며 반복 정밀도는 해당 정밀도에 대한 표준 편차이다. 정밀 측정은 다음의 특정한 환경에서 가능하다.

영향을 주는 요인
ToF 카메라의 측정에 영향을 주고 측정 정밀도를 제한할 수 있는 요인들이 몇 가지 있다. 이러한 요인들로는 다중 반사, 산란광, 주변광 및 온도가 포함된다.

다중 반사
거리 측정에는 단 한 번만 반사된 빛이 필요하다. 여러 번 반사된 빛은 측정에 왜곡을 가져오기 때문이다. 방의 귀퉁이 및 오목한 형태(예: 커피잔 안 쪽)와 같은 것은 일반적으로 빛을 여러 번 반사해 오류를 발생시킨다.
거울 및 반사면(연마한 탁자의 윗면)은 빛을 반사한다. 광원에서 카메라까지 광 펄스가 얼마나 많은 경로를 가질 수 있는지 상상해 보자.

빛이 100% 굴절되면 반사된 빛의 강도가 카메라에 도달해 반사면의 거리를 제대로 측정하지 못하게 된다. 역으로 광속이 센서에 투영되면 과노출이 자주 발생할 것이다. 반면에, 비어 있는 어두운 방의 밝고 고르며 넓게 퍼져 반사되는 벽면은 이상적이다.

산란광

산란광(그림 5 참조)은 렌즈 내부나 렌즈 뒷면에서의 원치 않는 반사로 인해 발생한다. 가장 신중하게 개발한 장비에서조차 산란광은 완전히 제거할 수 없다. 광원에 아주 가까이 있는 밝은 표면은 너무 많은 빛을 렌즈에 아주 빨리 산란시킨다.
이 표면은 센서의 FOV 안에 있을 필요도 없다. 예를 들어 카메라가 탁자 한 가운데 배치되어 있다면 산란광은 거리 측정에 상당한 간섭을 일으킬 것이다. 강렬한 이미지에서 산란광은 컨트래스트가 낮은 뿌연 이미지를 만든다. 사진 분야에서 이 문제는 오랫동안 제기된 문제이다. 해결 방법은 카메라 바로 앞에 있는 공간에 반사가 심한 물체가 없도록 하는 것이다.

작동 영역
ToF 카메라의 작동 영역을 제한하는 요소는 네 가지이다.
광 펄스 폭과 같은 방법을 사용하는 측정 방법.
- 펄스와 전자 셔터의 일시적인 배열은 구체적인 거리 범위에 맞게 설계되었기 때문에 해당 범위 밖의 표면은 어떤 측정값 또는 잘못된 값도 유도하지 못한다. 강도 프로필은 영향을 덜 받지만 여기에서는 표면에 조명이 흐리고 초점이 제대로 맞춰지지 않는다.
카메라의 컨트래스트 범위(다이내믹레인지)
- 반대로 가까운 표면은 매우 밝게 보이고 멀리 있는 것은 매우 어둡게 보인다. 반사된 빛의 강도는 거리의 제곱에 비례해 감소한다. 목표는 이 밝기 척도의 양쪽 끝단에서 측정하는 것이며 이를 위해서는 우수한 컨트래스트 범위가 필요하다.
광원의 강도
- 거리에서도 표면을 비출 수 있을 정도로 빛이 충분해야 한다. 그렇지 않으면 노이즈 수준이 너무 높아 측정이 부정확해진다.
렌즈의 피사계 심도(Depth of focus)
- 및 배경 사이의 경계가 불명확하면 중간 지역의 거리가 잘못 측정된다.

입체각
이미지의 경계 지역에서는 렌즈와 광원 강도가 감소된다. 이런 이유로 해당 영역의 표면은 노출이 부족해지는 경향이 있고 거리 측정 정확도가 떨어지게 된다. 이 외에도 사진 여백의 그림자가 커져 개별 빛 요소가 다른 경우보다 측정 시 강하게 기록된다.

주변광
카메라가 주변광을 측정하고 평가 중에 이를 공제하긴 하지만 물리적 문제로 남는 건 여전하다. 센서의 픽셀은 제한된 양의 전하만 수용할 수 있다. 주변광에 의해 이 용량이 채워질수록 원하는 광 펄스를 기록하기 위해 남는 용량은 적어진다. 다시 말해 노이즈/신호 비율이 저하된다.
광학 대역통과 필터는 광원에 존재하는 스펙트럼만 통과해 픽셀에 도달하도록 허용한다. 따라서 스펙트럼의 아주 작은 부분만 포함되어 있는 인공적인 빛은 대개 문제가 되지 않는다. 하지만 일광은 거의 전체 광 스펙트럼에 걸쳐 퍼져 있고 햇살이 강한 여름날 같은 경우에는 상당한 강도에 도달한다. 따라서 광원을 측정할 수 있도록 보장하려면 카메라에 추가적인 보호 장치가 필요하다.

반사율 및 투명도
측정할 표면의 반사율과 표면까지의 거리에 따라 최적 노출 시간이 결정된다. 반사율이 아주 높은 표면과 낮은 표면이 섞여 있는 경우 이를 촬영하려면 노출 시간을 아주 신중히 선택해야 한다. 그렇지 않으면 과노출 및 노출 부족이 발생하기 때문이다.
주변광이 아주 강할 때는 카메라에 가장 가까운 반사가 가장 잘 되는 표면이 과노출되지 않도록 노출 시간을 구성하는 것이 바람직하다.
강도 프로필을 사용한 뒤 심도 맵을 이용하면 효과적으로 이를 확인할 수 있다. 가능한 한 새츄레이션(saturation) 임계값을 초과하지 않는 상태로 노출 시간을 선택해야 하며 카메라의 위치 및 배열은 이에 맞게 변경해야 한다.
적절한 강도와 올바른 거리 값을 위해 같은 노출 시간에서 반사율이 낮은 표면을 먼 거리에서 확인한다. 적절한 노출 시간을 찾기 위한 노력이 실패하면 다른 노출 시간에서 두 번 이상의 촬영을 해 하나의 프로필로 결합해야 한다(신뢰도 값 이용 가능). 거울 같은 표면 및 투명한 표면은 빛의 기본 경로가 최단 거리에 해당되지 않기 때문에 정확한 거리 측정이 되지 않는다.

온도
거리 계산은 광 펄스 및 셔터 시간의 타이밍과 관련된 모델을 바탕으로 한다.
예를 들어 카메라의 전자 셔터가 의도한 것보다 33피코 초만 늦게 열려도 계산 거리는 1센티미터 이상 짧아진다. 그렇기 때문에 고품질 전자 부품들은 ToF 측정을 위한 정밀 요구 사항을 충족시키려 노력한다. 높은 온도는 노이즈를 유발할 수 있으며 온도 변화는 타이밍 양식에 영향을 준다.
따라서 카메라가 열적으로 안정된 상태에서 작동하는 것이 중요하다. 극한 온도 또는 변동은 피해야 한다. 가능한 한 카메라는 공기 흐름을 이용하거나 커다란 금속 브라켓에 장착하여 냉각시켜야 한다.

카메라 구성
카메라가 최고의 효율로 동작하도록 하기 위한 변수는 아주 많다. 노출 시간 및 프레임 속도 이외에도 정밀도를 높일 수 있는 다른 필터들이 있다. 하지만 모든 조합이 사양에 요구되는 정밀도를 보장하지는 못한다.

요약
ToF 카메라에서의 거리 측정은 신속하고 효율적으로 이루어진다. 일반적인 카메라와 달리 제어 유닛과 광원은 ToF 카메라의 핵심 구성 요소이며 적절한 사용은 카메라의 측정 정밀도에 직접적인 영향을 준다.
ToF 카메라는 렌즈를 포함한 측정 장치로 보정해야 한다. 특별한 주변 여건과 특정 측정 범위에서만 최적의 결과를 제공한다. ToF 카메라는 강도 프로필 및 심도 맵, 그리고 심도 맵의 포인트별 신뢰도 값과 같이 표준 카메라에 비해 상당히 많은 데이터를 전달한다.
최적의 환경에서조차 성공적인 ToF 측정은 카메라 내부와 외부의 수많은 요소들에 의존한다. 최상의 결과를 위해 ToF 카메라 사용자는 다음 사항에 주의해야 한다:

- 다중 반사를 피해야 함
- 산란광을 피해야 함
- 작동 영역 중심에서 측정
- 이미지의 중심에서 측정
- 주변광, 특히 밝은 햇빛을 피해야 함
- 카메라를 일정한 낮은 온도로 유지
- 거울같은 물체 및 투명한 물체는 피해야 함
- 밝고 넓은 반사면을 우선으로
- 카메라의 위치 및 배열을 최적화
- ‘모양이 정육면체’와 같이 이미지를 처리할 때 사전 지식 사용
- 공간 및 시간 모두에 대해 노이즈 필터 사용
- 강도 프로필 작성
- 안정된 위치에서 카메라를 조작하고 조작 중에 변수 변경을 하지 않음

이러한 규칙을 따를 수 있는 사용자는 센티미터의 정밀도로 초당 400만 번의 거리 측정을 활용할 수 있다. 공간 기록을 위한 방법중 ToF보다 더 빠른 방법은 없다.

자료제공 | Basler(www.baslerweb.com)