FLIR / 카메라 감도를 평가하는 방법 - EMVA1288 이미징 성능 표준을 사용한

프레임 속도와 해상도 및 인터페이스 등의 기본 카메라 사양을 비교하는 것은 쉽다. 일시적인 다크 노이즈와 양자 효율, 포화 용량과 같은 카메라의 이미징 성능을 비교하는 것은 아니다. 먼저 이런 다양한 측정이 실제로 무엇을 의미하는지 이해해야 한다.

양자 효율이 무엇일까? 피크 또는 특정 파장에서 측정되는 것일까? 신호 대 잡음 비는 동적범위와 어떻게 다를까? 여기서 이와 같은 질문을 다루며 EMVA1288 표준에 따라 이미징 성능 데이터를 기반으로 카메라를 비교하고 선택하는 방법을 설명하고자 한다.

EMVA1288을 기반으로 한 이미징 성능 측정 소개

EMVA1288은 측정할 카메라 성능의 측면과, 측정 방법 및 통합된 방법으로 결과를 표시하는 방법을 정의하는 표준이다. 이어지는 첫 부분은 이미징 센서와 이미징 성능의 다양한 측면을 이해하는 데 도움이 된다. 이미지 센서가 빛을 디지털 이미지로 변환하고 궁극적으로 센서의 성능을 정의하는 방법을 고려할 때 이해해야 할 중요한 개념을 설명한다. 그림 1은 단일 픽셀을 제시하고 이러한 개념을 강조한다.

먼저 빛 자체에 내재된 노이즈를 이해할 필요가 있다. 빛은 광원에 의해 생성된 이산 입자(discrete particles)와 광자(Photons)로 구성된다. 광원은 임의의 시간에 광자를 생성하기 때문에 감지된 빛의 강도에 노이즈가 있다. 빛의 물리학에선 빛 강도에서 관찰되는 노이즈는 광원에 의해 생성된 광자 수의 제곱근과 동등하다고 말한다. 이런 유형의 소음을 샷 노이즈(Shot Noise)라고 한다.

픽셀에 의해 관찰되는 광자 수는 노출 시간 및 광 강도에 의존할 것이라는 점에 유의해야 한다. 여기서는 노출 시간과 광 강도의 조합으로 광자 수를 고려한다. 유사한 방법으로, Pixel Size는 빛에 민감한 영역을 결정하기 위해 제곱할 필요가 있기 때문에 센서의 집광 능력에 비선형 효과를 준다. 다음 부분에서 두 카메라의 성능을 비교하는 맥락으로 더 자세히 논의될 것이다. 빛을 디지털화하는 첫 번째 단계는 광자를 전자로 변환하는 것이다.

여기서는 전환 효율의 척도를 제시한다. 디지털화 과정에서 생성된 전자와 광자의 비율을 양자 효율(Quantum Efficiency, QE)이라고 한다. 그림 1의 예제 센서는 6개의 광자가 센서에서 떨어지면 3개의 전자가 생성되므로 QE는 50%이다.

전자가 디지털화 되기 전에 웰(well)이라는 픽셀 내에 저장된다. 웰 내에 저장될 수 있는 전자의 수를 포화 용량 또는 웰 깊이(Well Depth)라고 한다. 웰이 포화 용량보다 많은 전자를 수신하면 추가 전자는 저장되지 않는다. 일단 픽셀에 의해 집광이 완료되면 웰 내의 전하가 측정되고 이 측정을 신호라고 한다. 그림 1의 신호 측정은 화살표 게이지로 표시된다. 측정과 관련된 오류를 임시 다크 노이즈(Temporal Dark Noise) 또는 읽기 노이즈(Read Noise)라고 한다.

마지막으로, 그레이 스케일은 전자로 표시되는 신호 값을 16비트 ADU(Analog to Digital Units) 픽셀 값으로 변환해 결정된다. 아날로그 신호 값 대 디지털 그레이 스케일 값의 비율을 Gain이라고 하며 ADU 당 전자에서 측정된다. EMVA1288 표준에 정의된 이득 파라미터를 ‘아날로그 - 디지털’ 변환 프로세스의 이득과 혼동해서는 안 된다.

카메라 성능을 평가할 때 신호 대 잡음 비 및 다이내믹 레인지를 참조하는 것이 무난하다. 이 두 가지 카메라 성능 측정 방법은 카메라에서 관찰된 노이즈 대 신호의 비율을 고려한다. 차이점은 다이내믹 레인지는 시간적 어두운 노이즈만 고려하고, 반면에 신호 대 노이즈 비율은 샷 노이즈(Shot Noise)의 RMS(Root Mean Square) 합계를 포함한다는 것이다.

절대감도 임계 값은 센서가 관찰한 잡음과 동일한 신호를 얻는 데 필요한 광자 수다. 의미 있는 신호를 관찰하는 데 필요한 이론적인 최소 광량을 나타내기 때문에 중요한 측정 기준이 된다. 측정에 대한 자세한 내용은 다음 부분에서 자세히 설명하고자 한다. Point Grey는 EMVA1288 표준을 기반으로 센서와 카메라를 비교하는 데 도움 되도록 70개 이상의 카메라 모델의 이미징 성능에 대해 업계 최초로 포괄적인 연구를 실시했다. (참조 : www.ptgrey.com/sensor-review)

카메라의 저조도 성능 비교

목적상 단색 이미징이 일반적으로 사용되며 카메라가 수집할 수 있는 빛의 양이 짧은 노출 시간으로 인해 제한될 수 있는 번호판 인식(LPR) 또는 광학 문자인식(OCR)과 같은 애플리케이션을 고려할 것이다. 이미징 문제를 해결하는 데 필요한 해상도와 프레임 속도 및 시야를 결정하는 것은 상당히 간단하다. 카메라의 이미징 성능이 충분한지의 여부를 결정하는 것이 더 어려울 수 있다.

이 과제는 대개 시행착오를 통해 해결된다. 시스템 설계자는 애플리케이션에서 ¼″ CCD가 30FPS로 작동하는 VGA 카메라가 충분하다고 판단한다. 초기 테스트 결과 카메라가 노출 시 충분한 감도를 나타낼 수 있다. 물체가 정지한 시간은 10ms이다. 문자가 있는 간단한 예제를 보여주는 그림 2를 참조하면 된다. B, 8, D 및 0으로 분류돼 비전 알고리즘으로 쉽게 혼동할 수 있다. ¼″CCD 카메라로 촬영한 왼쪽 상단 이미지는 이미지 처리에 적합한 이미지를 생성한다.

그러나 물체가 움직이기 시작하면 문자 ‘B’와 ‘D’가 숫자 ‘8’ 및 ‘0’과 구별될 수 없기 때문에 노출 시간을 줄여야 하며 카메라가 유용한 정보를 제공할 수 없다. 그림 2의 가운데와 왼쪽 아래 이미지는 이미지 품질의 저하를 보여준다. 특히 2.5ms 노출 시간의 ¼″ CCD는 이미지 처리에 부적합한 이미지를 생성했다. 예시의 목적을 위해 큰 피사계 심도(depth of field)가 요구되지 않으며, 따라서 렌즈의 최소 F-넘버는 수용 가능하다. 즉, 렌즈의 셔터를 열어 더 많은 빛을 모으는 것은 불가능하다.

디자이너는 다른 카메라를 고려해야 한다. 문제는 다른 카메라가 시스템의 성능을 향상할 수 있는지 여부다. 더 큰 센서를 사용하는 것은 일반적으로 낮은 조명 성능 문제를 해결하는 좋은 방법으로 받아들여지므로 ½″ 센서가 좋은 선택이 될 수 있다. 그러나 시행착오를 계속하는 대신, 카메라의 EMVA1288 이미징 성능을 고려하는 것이 유용할 수 있다.

EMVA 1288 데이터를 살펴보면 ¼″ 센서의 양자 효율이 높다는 것을 알 수 있다.

노이즈는 낮지만 ½″ CCD는 더 큰 픽셀과 포화 용량을 가지고 있다. 여기서는 ½″ 카메라가 더 잘 작동하는지 여부를 확인하는 방법을 보여준다. 그림 3은 신호 값 대 빛 밀도(photons / μm²)를 플로팅해 카메라를 비교한다. 빛 밀도의 함수로써 시그널은 다음 공식을 사용해 결정된다.

시그널 = 가벼운 밀도 × (픽셀 크기)² × 양자 효율

전제 조건은 렌즈가 동일한 시야와 F 수치 그리고 카메라 설정을 갖고 있다는 것이다.

그림은 동일한 조도에 대해 ½″ 센서가 더 높은 신호를 생성함을 보여준다. 또한 포화는 700 photons / µm²의 비슷한 광 밀도 수준에서 발생하지만, ½″ 센서는 상당히 높은 포화 용량을 갖는다는 것을 관찰할 수 있다. 여기서 다루는 애플리케이션에서 카메라 비교는 낮은 조명 수준에서 수행돼야 한다. 그러므로 노이즈 수준을 고려하는 것이 특히 중요하다.

그림 4는 낮은 조명 레벨에서 신호와 노이즈를 보여준다. 그림에 표시된 노이즈는 다음 공식을 사용해서 계산된 시간적 암 소음(Temporal Dark Noise)과 샷 소음(Shot Noise)의 RMS 합계다.

그래프는 ½″ 센서가 ¼″ 센서보다 약간 낮은 레벨에서 절대 감도 임계 값(신호가 노이즈와 동일한 광 레벨)에 도달함을 보여준다. 저조도 분야에서 어떤 카메라가 더 잘 작동할 것인가를 결정할 때 필요한, 더욱 중요한 수단은 신호 대 노이즈 비(SNR)다.

½″ 센서의 높은 신호 대 잡음 비에 근거해서, 이론은 저조도 수준에서 ½″ 카메라가 ¼″ 카메라보다 잘 수행돼야 한다고 제안한다. 그림 2에 있는 이미지의 2.5ms 노출 시간 중 ½″ 센서는 모든 노출 시간에서 문자의 모양을 보존하는 반면, ¼″ 센서는 문자를 구별하기 어렵다는 것을 알 수 있다. 따라서 ½" 센서가 더 잘 수행되며 실제 결과는 이론과 일치한다.

Point Grey는 카메라에 대한 광범위한 연구를 수행했으며 EMVA1288 이미징 성능 결과를 발표했다. 이 정보는 다른 카메라 모델의 성능을 비교하는 데 사용할 수 있다. 카메라 구현은 이미징 성능에 영향을 미친다. 본 연구는 두 대의 카메라를 문서에서 다루는 센서와 비교할 때 일반적으로 유용할 수 있다.

앞서 설명한 방법은 카메라가 다른 카메라보다 얼마나 잘 작동하는지에 대한 일반적인 아이디어를 얻는 데 유용하다. 필요한 성능을 향상할 수 없지만 카메라 성능의 궁극적인 테스트는 실제 애플리케이션에 있다.

현대의 CMOS 센서와 기존의 CCD 비교

이번엔 저조도 이미징 조건과 다양한 조명 조건이 있는 장면에서 기존의 CCD 센서 대 현대 CMOS 센서의 성능을 비교할 것이다. 앞서 ½″ VGA CCD인 소니 ICX414가 있는 카메라가 ¼″ VGA CCD인 소니 ICX618이 있는 카메라보다 낮은 조명 조건에서 더 나은 성능을 보이는 것을 확인했다. 이제 ½″ VGA CCD와 새로운 Sony Pregius IMX249, 1/1.2″ 2.3Mpix 글로벌 셔터 CMOS 센서를 비교해 본다.

언뜻 보기엔 ‘사과와 오렌지’를 비교하는 것처럼 보일 수 있지만, 이 두 센서는 CMOS 카메라의 VGA 영역인 약 400유로 가격 수준에서 비교할 수 있다. 실제로 ¼″ 카메라의 광학 크기에 더 가깝고 프레임 속도는 VGA 해상도와 비슷하다.

카메라의 EMVA1288 데이터는 IMX249 CMOS 센서가 양자 효율이 훨씬 높고 잡음이 적으며 포화 용량이 높다는 것을 보여준다. 반면에 ICX414 CCD 센서는 앞부분에 제시된 예시에서 중요한 매개 변수인, 더 큰 픽셀을 가지고 있다.

더 흥미로운 비교는 포화도의 차이로 인한 더 높은 광 강도에서의 비교다. 그림 8은 전체 광도 범위의 광 강도에 따른 신호를 보여준다. 그래프에서 ICX414 CCD 센서는 약 700 photons / µm²에서 포화 용량에 도달하고, IMX249 CMOS 센서는 1200 photons / µm² 이상에서 포화되는 것을 볼 수 있다.

첫 번째 결론은, ICX414 CCD 센서에 의해 생성된 이미지가 IMX249 CMOS 센서에 의해 생성된 이미지보다 밝다는 것이다.

이 요소가 그래프에서 분명하지 않은 경우, 약 700 photons / μm²에서 생성될 이미지를 고려하면 된다. ICX414 CCD 센서의 경우, IMX249 CMOS 센서가 최대 밝기의 50%가 넘는 이미지를 생성한다. 반면 이미지는 가장 높은 그레이 스케일 레벨에 있어야 한다. 이 관찰은 카메라 민감도를 평가하는 접근법이 이미지의 밝기를 관찰하는 것이기 때문에 중요하다.

다시 말해 더 밝은 이미지는 성능이 좋은 카메라에서 가져온다는 것이다. 그러나 이것은 사실이 아니며, 예제에서도 반대로 나온다. 실제로 어두운 이미지를 생성하는 카메라가 더 나은 성능을 보인다.

두 번째 관찰은 IMX249 CMOS 센서가 이미지에 유용한 이미지를 생성한다는 것이다. 더 넓은 범위의 조명 조건에서 처리한다. 그림 9는 두 카메라가 촬영한 동일한 장면을 보여준다.  이미지의 어두운 부분은 표시 목적으로 향상됐지만 기본 데이터는 수정되지 않았다.

이미지를 보면 ICX414 CCD가 장면의 밝은 영역에서 포화된 동시에, 어두운 영역에서 많은 노이즈가 있어 문자를 읽을 수 있음을 알 수 있다. 반대로 IMX249 CMOS 센서는 장면의 밝고 어두운 부분에 읽기 쉬운 문자를 생성한다.

마지막으로, 최근의 글로벌 셔터 CMOS 기술이 머신 비전 애플리케이션에서 CCD에 대한 실행 가능한 대안이 되고 있다고 결론지을 수 있다. 센서 가격이 저렴하며 동등한 해상도에서 더 높은 프레임 속도를 제공할 뿐만 아니라, 얼룩이나 번쩍임과 같은 아티팩트(artifacts)가 없음에도 CCD의 이미징 성능을 능가하기 시작했다.

결론

여기서는 카메라 성능 평가에 사용된 핵심 개념을 학습했다. EMVA1288 표준을 도입하고 다양한 조명 조건에서 카메라 성능을 비교하기 위한 결과를 적용했다.

카메라를 평가할 때 고려할 수 있는 카메라 성능의 측면은 여전히 많다. 예를 들어, 양자 효율은 각기 다른 파장에서 극적으로 변한다. 때문에 525nm에서 잘 작동하는 카메라는 광원이 근적외선(NIR, near infra-red) 주파수에 있을 때 프리폼(preform)을 만들지 못 할 가능성이 높다. 마찬가지로 형광 및 천문 영상에서 공통으로 긴 노출 시간은 암전류의 영향(effects of dark current)을 고려할 필요가 있다. 암전류는 매우 낮은 광 레벨에서 중요한 노이즈 유형이다.

자료 제공: FLIR(www.flir.com)