카메라 감도 평가 방법
EMVA1288 Imaging performance 표준을 사용한 카메라의 성능 비교
카메라의 프레임 속도, 해상도, 인터페이스와 같이 기본적인 제품의 사양만으로 비교하는 것은 쉽다. 하지만 Quantum efficiency, Temporal dark noise 및 Saturation capacity와 같은 카메라의 Imaging performance로의 비교는 쉽지 않다. 비교를 위해서는 먼저 다양한 내용들이 무엇을 의미하는지를 이해할 필요가 있다. Point Grey가 작성하고 싸이로드가 제공한 이 글에서는 카메라의 성능에 대한 측정 및 그 측정에 대한 결과를 제시하는 방법인 EMVA1288 표준의 Imaging performance data를 기반으로 카메라 선정에 대한 궁금증 해결 및 비교 방법에 대해 알아본다.
이미지 센서의 이미지 성능에 대한 다양한 측면 이해하기
먼저 빛 자체에 내재 된 노이즈를 이해해야 한다. 빛은 광원에 의해 생성 된 개별 입자와 광자로 구성되어 있다. 광원이 임의의 시간동안 광자를 생성하기 때문에 광의 강도에 따라 인식되는 noise가 있을 것이다. 빛을 물리학으로 나타낼 때 빛의 강도에서 관찰되는 noise는 광원에 의해 생성되는 광자의 수의 제곱근에 해당되며, 이를 Shot noise라고 부른다.
픽셀에 의해 관측 된 광자의 수는 노출 시간과 빛의 강도에 의존한다는 것을 주목해야 한다. 이 글에서는 노출시간과 광량의 조합으로 광자의 수를 고려한다. 마찬가지로, 픽셀 크기는 센서의 빛 수집 능력에 비선형에 따른 효과를 갖게 되며, 이로 인해 빛을 감지하는 영역을 결정하기 위해서는 제곱이 필요하게 된다.
광을 디지털화하는 첫 번째 단계는 전자에서 광자로 전환하는 것이다. 센서는 이러한 작업을 수행하지만 변환 효율에 따른 척도를 문서화 하여 제시하지는 않는다.
광자를 디지털화 하는 과정에서 생성되는 전자의 비율을 양자효율(Quantum efficiency)이라고 한다. 예를 들어, QE가 50%의 센서에 6개의 광자가 떨어질 시 3개의 전자가 생성되게 된다.
전자는 디지털화 하기 전에 그들을 well 이라고 하는 화소 내에 저장이 된다. Well 내에 저장될 수 있는 전자의 개수는 Saturation Capacity 또는 Well Depth로 표현 된다. Well이 Saturation Capacity 보다 많은 전자를 받을 경우 추가 전자는 저장되지 않는다.
픽셀의 집광이 완료되면 well 속의 전하가 측정이 되고 이러한 것을 불러 signal 이라고 한다. <그림 1>에서는 signal의 측정 게이지가 화살표로 표시된다. 측정 시 발생하는 일시적인 오류를 Temporal Dark Noise 또는 Read Noise라고 한다.
마지막으로, Grey Scale은 디지털단위(ADU) 화소 값인 16bit 아날로그 전자 신호 표현 값을 변환함으로써 결정된다. 디지털 그레이 스케일 값과 아날로그 신호 값 사이의 비율을 gain이라고 하고 이는 ADU 당 전자의 개수에 의해 측정된다. Gain parameter는 EMVA1288 기준에 의해 정의되어 있으며 “Analog to Digital”로 혼동해서는 안 된다.
카메라의 성능을 평가할 때 Signal to Noise Ratio 와 Dynamic Range를 참조하는 것이 매우 일반적이며 카메라의 성능을 비교할 때는 카메라의 signal 대 noise의 비율을 고려한다. 차이점은 Dynamic Range에서만 Temporal Dark Noise를 고려하며, Signal to Noise 비율은 well의 Shot noise의 평균 제곱근(RMS)에서의 합계를 포함한다.
ABSOLUTE SENSITIVITY THRESHOLD는 센서에 의해 관찰된 Noise signal을 얻기 위하여 필요한 광자의 수이다. 이것이 중요한 점은 어떤 의미 있는 signal을 관찰하는데 있어 필요한 빛의 이론적인 최소량을 대표하기 때문이다. 이 측정의 세부 사항은 아래의 기사에서 자세히 다룰 것이다.
EMVA1288 표준을 기반으로 센서와 카메라를 비교하기 위해, Point Grey에서는 70개 이상의 카메라 모델을 가지고 업계 최초로 이미징 성능에 대한 포괄적인 연구 자료를 만들었다.
카메라 저조도 성능의 비교
비교를 위해 흑백 이미지가 사용되며 짧은 노출 시간으로 인해 빛의 양이 제한될 수 있는 번호판 인식(LPR) 또는 광학 문자 인식(OCR) 애플리케이션을 적용하였다. 해상도 및 Frame Rate, FOV는 이미지 문제를 해결하는데 비교적 쉽게 다가갈 수 있으나, 카메라가 충분한 이미지 성능을 가지고 있는지 결정하는 것은 어려울 수 있다.
이러한 문제는 전형적으로 시행착오에 의해 해결된다. 비전 시스템 설계자가 VGA 1/4″ CCD 해상도에 30fps의 카메라가 애플리케이션에 충분하다고 판단한 예를 고려해 보자. 초기 실험은 카메라가 정지된 물체의 상태 10㎳의 노출 시간이 충분한 감도를 가지고 있음을 표시 할 수 있다. <그림 2>를 보면 B,8,D,0은 비전 알고리즘에 의해 쉽게 혼동 될 수 있다. 왼쪽 상단 이미지를 보면 1/4″ CCD 카메라로 촬영 한 영상도 이미지 처리에는 적합하게 여겨진다.
그러나 물체가 움직이기 시작하면서 노출시간이 감소되고 글자 B와 D, 숫자 8과 0을 구별할 수 없기 때문에 카메라는 유용한 정보를 제공하기 어려워진다. <그림 2>중 중앙과 왼쪽 하단의 이미지. 특히 1/4″ 2.5㎳ 시에 비전 처리에 적합하지 않은 영상을 생성하게 된다.
이 예제의 가정은, 큰 DOF가 필요하지 않으므로, 렌즈의 최소 F-number가 허용되며, 즉, 렌즈의 셔터를 열어 더 많은 빛을 수집할 수 없다는데 있다.
따라서 설계자는 다른 카메라를 고려할 필요가 있다. 이에 따른 질문으로는 다른 카메라가 시스템의 성능을 향상 시킬 수 있는 기회를 가지고 있는지 여부이다. 더 큰 센서를 사용하는 것은 일반적으로 낮은 조명의 성능 문제를 해결하는 좋은 방법으로 받아 들여졌다. 따라서 1/2″ 센서는 좋은 선택이 될 수 있다. 대신 EMVA1288 이미지 성능표는 시행착오가 될 수 있는 점을 유용하게 고려할 수 있게 한다.
EMVA1288 데이터를 보면 1/4″ 센서가 더 나은 QE와 낮은 noise를 가지고 있지만, 1/2″ CCD는 더 큰 픽셀과 큰 Saturation capacity를 가지고 있다. 이 문서는 1/2″ 카메라가 더 좋은 선택이 될 수 있는 방법을 보여 준다.
<표 2>는 빛 밀도 대 신호 값을 보여 카메라를 비교하고 있다 (photons/㎛²) 빛의 밀도에 대한 함수로서 signal은 다음 식을 사용하여 결정된다.
이 비교의 중요한 가정은 렌즈가 동일한 FOV와 F-Number를 가지고 있다는 점이다.
그림은 동일한 빛의 강도에서 1/2″ 센서가 높은 signal을 생성하는 것을 보여준다. 또한 700(photons/㎛²)의 유사한 광 밀도에서 1/2″ 센서가 높은 Saturation capacity를 가지는 것을 볼 수 있다. 카메라의 정확한 비교를 위해서는 낮은 조명에서 수행해야 한다. 따라서 noise의 레벨을 고려하는 것이 특히 중요해 진다. <그림 4>는 낮은 조명 레벨에서의 Signal to noise의 비율을 보여 준다. 도면에 제시된 Noise 식 은 Temporal Dark Noise 와 Shot Noise 의 RMS 합계이다.
그래프에서 absolute sensitivity threshold (noise와 signal이 같은 광 레벨)를 비교 시 1/2″ 센서에 비해 1/4″ 센서는 약간 더 낮은 레벨에 머물러 있는 것을 볼 수 있다. 적은 조명의 애플리케이션에서 카메라의 성능을 비교하기 위해 중요한 척도는 잡음비(SNR)이다. <그림5>는 조명 레벨에 따른 두 카메라의 SNR을 나타낸다. 위의 1/2″ 센서의 높은 SNR을 바탕으로, 이론적인 내용은 1/2″ 카메라가 1/4″ 카메라 보다 낮은 조명 수준에서 더 나은 영상을 얻을 수 있다는 것을 확인할 수 있다.
영상으로부터 2.5㎳ 노출시간을 가질 때 1/2″ 카메라는 1/4″ 카메라에 비해 어려운 문자를 구별 할 수 있는 것을 알 수 있으며, 이는 이론과 실제 결과가 동일하다는 증거가 된다.
Point Grey는 자사의 카메라를 활용해 광범위한 연구를 수행하였고 그로인해 EMVA1288 이미지 성능 결과를 발표하게 되었다. 이 정보는 다른 카메라 모델의 성능 비교하기 위해 사용 될 수 있다. 카메라의 구현이 이미지 성능에 영향을 미치지는 않지만 각기 다른 센서의 두 카메라를 비교할 때 본 연구는 유용한 결과를 가지게 된다.
이 글에 설명되어 있는 방법을 가지고 다른 카메라에 비해 얼마나 좋은 이미지 성능을 수행하는지에 대한 도움을 줄 수 있다는 점에 주목해야 한다. 이 방법은 카메라의 선정하거나 제외하는 데에 도움이 될 수 있으나, 궁극적으로는 실제 애플리케이션에 접목하는 것이 가장 좋은 방법이다.
현대의 CMOS 센서와 전통적인 CCD 센서의 비교
언뜻 보기에 두 센서의 비교는 ‘오렌지와 사과’를 비교하는 것처럼 다르게 여겨질 수 있다. 하지만 이 두 센서의 카메라는 비슷한 가격대를 가지고 있으며, VGA ROI를 할 시 1/4″센서 사이즈와 비슷한 크기와 비슷한 Frame rate를 가지게 된다.
EMVA1288 데이터를 볼 시 IMX249 CMOS 센서는 훨씬 좋은 QE와 낮은 Noise, 높은 Saturation capacity를 갖는 것을 알 수 있다. 한편 ICX 414 CCD 센서는 이전 문서에서 제시된 중요한 파라미터였던 큰 Pixel size를 갖는다.
더 흥미로운 비교는 두 개의 센서 사이에서 높은 빛의 밝기 값에 따른 다른 Saturation capacity이다. ICX414 센서는 700대에서 Saturation capacity에 도달하는 것을 볼 수 있지만 IMX249 CMOS는 1200대에서 Saturation capacity에 도달하는 것을 확인할 수 있다.
이를 가지고 확일 할 수 있는 결론은 ICX414 CCD 센서의 영상은 IMX249 CMOS 센서의 영상에 비해 밝다는 것이다. 이 그래프가 명확하지 않아 보인다면, 700 photons/㎛²에서 생성될 이미지를 고려하면 된다. IMX249 CMOS 센서의 최대 밝기가 겨우 50%인 영상을 생성할 때, ICX 414 CCD의 영상은 최고 Grey scale 레벨로 포화되게 된다.
카메라 감도를 평가하는 접근법 중 na ve 접근 법은 영상의 밝기를 관찰하기 때문에 이는 중요한 평가 방법이 된다. 즉, 밝은 이미지가 더 나은 성능을 가진 카메라에서 얻어진다고 가정할 수 있으나, 이는 사실이 아니다. 반대로 어두운 이미지를 생성하는 카메라가 더 좋은 성능을 가지게 된다.
두 번째 IMX249 CMOS 센서 이미지는 더 넓은 범위의 조명 조건에서 이미지 처리에 유용한 영상을 획득 할 수 있다. <그림 9>는 두 대의 카메라에 의해 획득 된 동일한 영상을 나타내고 있다. 표시된 어두운 이미지 부분이 향상되었다는 데에 주목해야 되며, 기본 데이터는 변화되지 않았다는 것을 알 수 있다.
IXC414 CCD는 밝은 부분은 빛이 포화되는 것을 확인할 수 있으며, 어두운 부분은 문자 가독성이 떨어지게 noise가 많은 것을 확인할 수 있다. 반대로 IMX249 CMOS 센서는 밝고 어두운 부분의 가독성이 뛰어나다.
마지막으로, 최근 Global shutter CMOS 기술은 머신 비전 분야에서 CCD에 대안이 될 수 있다는 결론을 내리고 있다. 뿐만 아니라, 동일한 해상도에 높은 Frame Rate를 가지며, 가격적으로 저렴하고, CCD의 Smear와 같은 현상도 발생하지 않아 CCD를 뛰어 넘기 시작했다.
카메라를 평가할 때 고려될 수 있는 카메라의 많은 측면은 여전히 존재한다. 광원이 근적외선(NIR) 주파수에 있을 때, 예를 들어, QE감도는 525㎚ 파장에서 다른 결과를 나타낼 수도 있다. 마찬가지로, 형광 및 천문 영상에서 어두운 영상을 긴 노출시간으로 인해 발생하는 noise는 따로 고려되어야 한다.
자료제공 | ㈜싸이로드 2D/3D VISION SOLUTION(www.cylod.com)
