최상의 컬러 이미지 구현을 위한 프리즘 기술의 역할 ①
JAI
우수한 이미지 품질을 달성하려면 모든 채널에 대해 실제 혹은 전체 색상 깊이, 향상된 색상 대비와 차별화, 낮은 채널 사이의 혼선, 노이즈 수준이 필요하다.
중요한 이미지 품질 요소는 프리즘 기술의 고유한 이점을 이용해 얻을 수 있다. 베이어 패턴 센서(Bayer pattern sensors)를 바탕으로 한 카메라는 빛 필터링 공정의 본질 때문에 빛의 일부를 차단한다. 때문에 여러 카메라 기술은 이미지 품질을 복구하기 위해 FPGA 기반 이미지 처리에 의존한다. 다른 한편으로 프리즘 기반 카메라는 신호 강도의 손실을 피하는 혁신적인 방식으로 입사광을 분리한다. 또, 프리즘 기술은 우수한 이미지 품질을 달성하기 위해 가장 중요한 것이 이미지 센서에 빛이 포착되는 방법임을 입증한다.
1. 배경과 동기 부여
머신비전의 출현 이후 카메라 기술은 그 성장의 중심에 있다. 카메라에 사용된 이미지 센서는 급격히 발전했다. 현재 사용할 수 있는 CMOS 센서 중 일부(예 : 2세대 Sony IMX Pregius 시리즈)는 CCD 센서보다 우수한 SNR과 안정성 그리고 선형성을 제공한다. 오늘날 대부분의 이미징이 단색이지만 컬러 카메라의 점유율은 빨리 증가한다.
컬러 이미징의 대부분은 ‘베이어 패턴 센서’를 바탕으로 한다. 단색 센서와 베이어 센서 사이에 중요한 가격 차이가 없으며, 때문에 후자는 컬러 요구 사항이 단순한 여러 저비용 애플리케이션에서 단색 카메라를 대체하는 데 성공했다. 카메라 제조사는 이러한 발전을 최대한 활용할 수 있다. 간단한 카메라 하우징에서 센서를 조립하고 신호 처리와 데이터 인터페이스를 추가하는 것이 비교적 쉽다. 우수한 컬러 이미지 품질에 대한 시장 수요가 증가했고, 이에 따라 카메라 헤드에 지능형 이미지 처리 알고리즘을 추가해 베이어 패턴에서 발생하는 왜곡을 복구하는 데 상당한 노력이 있었다. 그러나 이 개선은 선명도, 색상 정확도, 이미지 노이즈 및 속도와 같은 중요한 요소를 저하시킨다.
반면 다중 센서 프리즘 기반 카메라는 정교하다. 프리즘 블록과 함께 센서를 조립하려면 매우 높은 정밀도가 필요하며 노하우와 기술이 필요하다. 이 기술의 장점은 이미지 복구가 필요 없는 우수한 이미지 품질이다.
여기에서는 다중 센서 프리즘 기반 카메라 기술에 중점을 두고 기술의 이점을 강조하며, 머신비전에서 컬러 이미징의 미래를 얘기한다.
2. 다중 센서 프리즘 기반 vs 단일 센서 카메라
2.1 빛 전파(Propagation of light)
프리즘 기반 카메라 내부에서 광학 시스템에 들어온 광자는 센서와 상호작용하기 전에 프리즘을 통해 전파된다.
프리즘 블록은 빛을 분리하는 데 도움이 되는 하드 다이크로닉 코팅(dichroic coatings)이 장착된 여러 프리즘으로 구성된다. 그림 1은 프리즘 블록 내부의 백색광의 분리를 도시한다. 단파장 즉, 스펙트럼의 청색 영역이 먼저 분리되고 녹색이 프리즘 블록을 통과하는 동안 적색이 분리된다. 빛은 센서와 상호 작용하기 전에 분리된다. 이 방법은 신호 강도의 손실을 최소화한다. 파장과 주파수가 반비례하므로 프리즘 디자인은 적색보다 청색 구성 요소의 전파 거리가 짧아지도록 최적화돼 있다. RGB 카메라의 경우 프리즘 블록 상단의 적외선 차단 필터가 가시광선과 적외선을 분리한다. 또한 청색과 녹색 채널의 왜곡을 피할 수 있다.
단일 센서 베이어 RGB 카메라에서 백색광은 베이어 패턴을 통해 전파된다. 필터 전송 특성 때문에, 포토다이오드의 3분의 1만이 포토다이오드와 상호 작용하기 전에 필터 배열을 통과한다.
이는 각 픽셀의 컬러 필터가 감광 영역에 도달하는 세 가지 색상 대역 중 하나를 제외하고 모두 차단하기 때문이다. 광이 센서 표면에 모든 가능한 입사각을 통해 전파됨에 따라, 필터링 공정으로 인한 신호 강도의 손실은 여전히 높게 유지된다.
2.2 참 색(True color) vs 추정 색(estimated color)
진정한 색 정확도는 광학 구조 때문에 프리즘 카메라에 자연스럽게 나타난다. 다중 센서 프리즘 기반 카메라는 색상 분리마다 이미지 센서 하나(RGB는 단색 센서 3개, RGB+NIR에서는 단색 센서 4개)로 구성된다. 모든 픽셀은 실제 비트 정보를 전체 비트 깊이로 캡처한다. 참 색은 더 나은 색상 차별화, 잘못된 색상 표현 방지, 메타메리즘(metamerism) 감소와 더 나은 이미지 대비를 제공한다.
반면, 베이어 RGB 카메라는 모자이크 패턴으로 구성된다. 보통 녹색 픽셀의 수는 사람의 눈에 대한 시각적 인식을 모방하기 위해 빨강과 파랑의 두 배이다. 각 픽셀은 세 가지 색상 중 하나만을 기록하도록 지정되므로 각 픽셀의 출력은 누락된 빨강, 녹색 그리고 파랑 정보를 완전하게 지정할 수 없다.
따라서 풀 컬러 정보는 인접 픽셀로부터 누락된 정보를 보간하고 추정을 제공하는 디베이어링(debayering) 알고리즘을 사용할 때 가능하다. 이 공정은 이미지 프로세싱을 필요로 한다. 때문에 디베이어링 매트릭스가 3x3 또는 5x5 별자리를 초과하면, 카메라는 더 큰 FPGA 용량을 필요로 한다. 5x5 디베이어링 공정은 가장자리 및 이미지 왜곡에 작은 개선을 보여준다.
그러나 디베이어링 공정은 종종 이미지 품질의 거짓 표현으로 이어진다. 추정 알고리즘의 기본 특성을 반영하는 좋은 결과를 산출할 수는 없다. 또한 보간 속도와 품질 사이에는 상충 관계가 있다.
2.3 스펙트럼 분리와 색 혼선
베이어 RGB와 삼선형(tri-linear)과 같은 다른 컬러 센서용 컬러 필터 어레이(CFA, color filter array) 몇 개는 컬러 염료나 안료로 구성된다. 이 같은 물질의 본질 때문에 청색의 분광 분포는 녹색과 적색으로 확장되고, 녹색은 파란색으로 확장되며, 적색과 빨간색은 녹색으로 확장된다. 더 나은 스펙트럼 차별화를 요구하는 대부분의 머신비전 애플리케이션에서, 연장의 결과는 원하지 않는 신호로 인한 오염이다. CFA 외에도 CMOS 센서의 본질은 한 픽셀에 떨어지는 광자가 주변의 픽셀에 의해 잘못 감지될 때 색 혼선을 초래한다. 거짓 픽셀 값이 보간에 사용되는 디베이어링 공정 중에 색 혼선의 효과를 더 볼 수 있다.
센서 해상도가 지속적으로 증가함에 따라 특히 CFA가 있는 작은 픽셀은 혼선(누화, cross talk)을 보정하는 것이 매우 어렵다. 그림 5는 전형적인 베이어 패턴 센서의 컬러 혼선을 도시한다. 혼선은 청색 영역의 신호가 녹색과 적색에 의해 검출되기 때문에 스펙트럼 분화가 불량하다는 것을 알 수 있다. 마찬가지로 녹색은 파란색과 빨간색으로 감지되고 빨간색은 파란색과 녹색으로 감지된다.
반면 다중 센서 프리즘 기반 카메라는 더 낮은 색 혼선의 결과인 더욱 우수한 스펙트럼 차별화를 제공한다. 이것은 그림 6에 나타나 있다.
이분법 간섭 필터(dichroic interference filters)는 본질적으로 가파르고 안료나 염료 기초한 필터보다 더 효율적인 필터링을 제공한다. 필터의 수명은 하드 마이크로 현미경 층의 구조에 내재돼 있기 때문에 훨씬 더 길다. 센서 반응이 카메라 반응을 나타낼 수 있는 베이어 RGB 카메라와는 다르다. 스펙트럼 응답은 센서의 기능일 뿐만 아니라 프리즘을 통한 빛의 전달이기도 하다.
이것은 RGB 카메라의 예이기 때문에 IR 컷 필터가 포함돼 있다. 또한, 프리즘의 투과 특성과 코팅 특성은 서로 다른 적용의 필요성에 따라 달라질 수 있다. 예를 들어, 일부 카메라의 프리즘의 스펙트럼 특성이 더 양호한 화이트 밸런스를 쉽게 하도록 최적화된다.
2.4 노출 및 게인 제어
카메라 기술에서 게인(gain)은 신호의 증폭이다. 그림 7은 단일 센서 바이엘 RGB 카메라의 일반적인 상황을 설명한다. 녹색 채널이 화이트 밸런스를 달성할 때 필요한 최대 신호 강도에 도달한 이미징 설정을 나타낸다. 신호 강도는 빛의 파장에 따라 매우 다양하다. 전형적인 녹색 우위는 스펙트럼의 초록색 영역에서 더 강한 조명 때문에 발생할 수 있다. 이것은 청색과 적색에 대한 신호 레벨의 적자를 초래한다. 비슷한 신호를 녹색으로 얻는 유일한 방법은 나머지 두 채널을 증폭하는 것이다. 디지털·아날로그 게인은 노이즈를 포함한 전체 신호를 증폭한다. 단일 센서 카메라는 모든 채널에 대해 공통 노출 시간을 가지므로 채널 종속 노이즈를 최적화할 가능성이 없다.
이와 대조적으로, 프리즘 기반의 다중 센서 카메라에는 별도의 센서가 장착된 모든 색상 채널이 있다. 따라서 아날로그 게인은 모든 단일 색상 채널에 대해 독립적으로 최적화될 수 있다. 또한 다중 센서 카메라를 사용하면 각 센서의 노출 시간을 따로따로 조정할 수 있다. 각 색상 채널은 모든 색상 채널에 대해 최적의 신호 대 잡음 비(SNR, signal to noise ratio)를 얻기 위해 게인과 노출 시간을 최적으로 조정할 수 있다.
밝은 장면의 SNR은 전자의 수의 제곱근으로 정의되는 샷 노이즈에 좌우된다. 즉, 노이즈는 카메라 게인에 직접 비례한다.
그러나 다중 센서 카메라에는 게인과 노출 시간을 최적화하거나 노출 시간을 기준으로 이미지 품질을 최적화하는 두 가지 가능성이 있다. 이것은 그림 8에 묘사돼 있다.
자료 제공 : JAI(www.jai.com)
