단색 이미지를 컬러 이미지로 생성하기 위한 Bayer 필터 이용 방법
iX Cameras
개요
Bayer 필터는 카메라 제조업체가 컬러 이미지를 생성하는 데 가장 많이 쓰는 컬러 필터 배열 유형이다.
여기에서는 우리가 색상을 인식하는 방법, Bayer 필터가 이 정보를 써서 색상을 검출하는 방법, 발생할 수 있는 공통적인 아티팩트(artifacts, 인공물) 그리고 이러한 아티팩트를 줄이는 방법에 관해 설명한다.
색상 인식 - 색상을 어떻게 볼 수 있는 걸까?
인간의 눈은 다른 포유동물과 마찬가지로 망막에 3가지 유형의 감광성 세포, 즉 막대, 원추, 감광성 망막 신경절이 있다. 시력을 담당하는 두 세포 유형은 막대 세포와 원추세포다. 막대 세포는 빛에 매우 민감하며 저조도에서의 시력에 거의 전적으로 책임이 있다. 원추세포는 막대 세포보다 덜 민감하며 색각을 담당한다. 감광성 망막 신경절은 정상 시력에서 역할을 하지 않지만, 주변광의 강도에 관한 정보를 뇌에 제공하고, 일주기 리듬을 유지하며 동공을 조절하는 것을 돕는다.
인간은 보통 세 가지 유형의 원추세포를 갖고 있는데, 이는 세 가지 다른 파장에서 최고 반응을 나타낸다. ‘빨간색’ 원추는 564nm 가까운 곳에서 정점을 나타내고(긴 파장의 경우 L이라고 함), ‘초록색’ 원추는 약 534nm에서(중 파장의 경우 M이라고 함), 그리고 ‘파란색’ 원추는 420nm 부근에서 피크를 보인다(짧은 파장은 S라고도 함).
그림 1은 세 종류의 원추세포와 막대 세포의 표준화 흡광도를 보여준다. 그래프는 빨간색, 초록색, 파란색에 상응하는 예리한 정점이 아니라, 3개의 응답 곡선의 상당량 중첩이 있음을 보여준다. 망막과 시각 피질의 복잡한 과정은 우리의 색채 인식을 초래한다.
인간의 색채 인식에 대한 현대 모델은 특정 주파수에서 빛의 강도에 따라 세포가 반응하는 삼색 성 단계와 원추세포와 막대 세포가 서로 연결되어 3개의 반대 색 쌍을 형성하는 상대 프로세스 단계를 포함한다(파란색-노란색, 빨간색-초록색, 그리고 검정색-흰색).
기본 색상 – 빨강, 초록, 파랑은 무엇이 특별히 다른가?
기본 색상 집합을 정의할 때의 목표는 시각적 시스템에서 인식할 수 있는 모든 색상을 산출하기 위해 혼합할 수 있다는 것이다. 첨가제 원색은 일반적으로 빨간색, 초록색, 파란색으로 선택된다. 그림 2는 빨강, 초록색, 파란색 빛을 추가하는 효과를 보여준다. 빨간색, 초록색, 파란색 광원의 강도를 변화시킴으로써 도면에 나타난 것보다 훨씬 넓은 색 영역(색 서브 세트)을 만들 수 있다.
원색의 개념은 빛의 근본적인 특성이 아니지만 우리의 컬러 비전 시스템이 작동하는 방식과 관련돼 있다. 영장류 이외의 많은 포유류는 단파장과 중간 파장을 수용하는 두 종류의 원추세포를 갖고 있다. 순록과 같은 다른 동물들은 자외선을 감지할 수 있다. 자외선은 눈이 내리는 배경에서 포식자를 더욱 분명하게 볼 수 있도록 도와준다.
그림 1에서 알 수 있듯이 인간의 원추세포는 어떤 단일 색상과도 정확히 일치하지 않는다. 그러나 빨강, 초록, 파랑의 기본 색상은 넓은 색상 영역을 제공하며, 여러 가지 기술에서 기본 색상 세트로 쓰인다.
인간의 컬러 비전 - 흥미로운 효과
인간이 색상을 인식하는 방식 때문에 발생하는 흥미로운 효과는 보완적인 잔상의 효과다. 그림 3에서 40초에서 60초 정도 쳐다본 다음 흰 종이를 응시하는 것을 예로 들면, 많은 사람이 빈 종이에 시안색과 자홍색의 보색을 본다.
빨간색을 생성하는 경로가 피로해진다고 생각되며, 이것은 청록색 사각형의 환상, 즉 빨간색이 없는 초록색과 파란색의 착각을 일으킨다. 마찬가지로 초록색을 생성하는 경로는 피로해지고, 이것은 마젠타 텍스트, 즉 초록색이 없는 빨간색과 파란색에 대한 착각을 일으킨다.
이미지 센서와 Bayer 필터
앞서 인간이 색을 인식하는 방법에 대해 논의했다. 다음은 “이미지 센서에서는 색을 얻는 데 이 정보를 어떻게 쓸 수 있을까?”에 대한 내용이다.
실리콘 이미지 센서에는 보통 두 가지 주요 유형이 있다. 이들은 CCD (charge coupled device)와 CMOS(complementary metal oxide semiconductor)다. i-SPEED®3 카메라 제품군에서 쓰이는 CMOS 이미지 센서의 스펙트럼 응답 곡선이 그림 4에 나와 있다.
검은색 곡선은 카메라의 흑백 변이의 스펙트럼 반응을 보여준다. 이 곡선은 센서가 700nm 부근에서 차단되는 가시 스펙트럼을 초과하는 파장을 포함해 광범위한 파장에 민감하다는 것을 보여준다.
빨간색, 초록색, 파란색 곡선은 IR(적외선) 차단 필터와 Bayer 필터를 쓰는 카메라의 색상 변형의 스펙트럼 응답을 보여준다. 컬러 카메라는 적외선의 ‘색상’을 표시할 수 없으므로 색상을 올바르게 표시하려면 IR 컷 필터가 필요하다.
그림 4는 i-SPEED®3 카메라에 쓰인 IR 컷 필터의 컷오프 포인트가 약 650nm임을 보여준다. 베이어 필터는 특정 파장의 빛을 통과시키고 나머지는 걸러내는 베이어 패턴을 쓴다. 빨강, 초록, 파랑 픽셀의 정확한 응답은 베이어 필터에 따라 달라진다. 그림 4는 그러한 예를 보여준다. 그러나 유용한 근사치는, 빨간색 픽셀은 주로 빨간빛을 통과하고, 초록색 픽셀은 주로 푸른빛을 통과한다는 것이다. Bayer 패턴은 발명가 Bryce E. Bayer의 이름을 따서 지어졌다. Eastman Kodak의 바이엘은 그림 5와 같다.
초록색 픽셀에는 더 많은 휘도(밝기) 정보가 포함됐다. 때문에 Bayer 패턴에 빨강과 파랑 픽셀보다 초록색 픽셀이 두 배 더 크다. 휘도 방정식(권장 ITU-R BT.601)의 빨간색, 초록색, 파란색의 색 정보의 비율이 이점을 설명한다.
휘도: Y = 0.299R + 0.587G + 0.114B
간단한 베이어 처리 알고리즘과 단점
지금까지 인간 시각 시스템이 색상을 인식하는 방법과 Bayer 필터가 이 정보를 써서 픽셀 배열의 색상을 감지하는 방법에 관해 살펴봤다.
다음 논의를 위해 베이어 필터와 IR 컷 필터를 쓰는 카메라가 있고 각 픽셀의 밝기 값이 단일 숫자로 표시된다고 가정한다. 해야 할 임무는 컬러 필터 배열의 픽셀의 단일 밝기 값을 바탕으로 모든 픽셀에 빨강, 초록색, 파란색 값을 유도하는 것이다. 이 프로세스를 디모자이킹(demosaicing)이라고 한다.
Bayer 패턴을 다시 살펴본다. 이번에는 x, y 좌표로 픽셀 위치를 식별하고자 한다.
다이어그램에 표시된 네 개의 중앙 픽셀 위치에 대한 색상 값을 결정하는 간단한 알고리즘은 다음과 같이 작동할 수 있다.
위치 {2,2}의 픽셀
값을 {2,1}에서 파생시킨다.
{1,1}과 {2,2}의 평균값에서 초록색을 유도한다.
{1,2}의 값에서 파란색을 파생시킨다.
위치 {3,2}의 픽셀
값을 {2,1}에서 파생시킨다.
평균 값 {3,1}과 {2,2}에서 초록색을 유도한다.
{3,2}의 값에서 파란색을 파생시킨다.
위치 {2,3}의 픽셀
값을 {2,3}에서 파생시킨다.
{2,2}와 {1,3}의 평균값으로부터 초록색을 유도한다.
{1,2}의 값에서 파란색을 파생시킨다.
위치 {3,3}의 픽셀
값을 {2,3}에서 파생시킨다.
{2,2}와 {3,3}의 평균값에서 초록색을 유도한다.
{3,2}의 값에서 파란색 파생시킨다.
이 알고리즘은 단순하다는 장점이 있지만 몇 가지 단점이 있다.
그림 7은 색상 처리가 없는 원시 Bayer 이미지를 보여준다. 그리드 패턴은 베이어 필터의 개별 픽셀이다. 그림 8과 그림 9는 앞서 설명한 간단한 Bayer 디코딩 알고리즘을 통과한 뒤 같은 이미지를 확대한 부분이다. 이러한 이미지는 일반적인 Bayer 가공물을 보여준다. 가장자리에서 볼 수 있는 잘못된 색상과 지퍼 효과(zipper effect)는 단순한 Bayer 디코드 프로세스의 결과이며 가장자리를 가로지르는 보간 결과다.
다행히도 이 상황을 개선하는 데 쓸 수 있는 여러 가지 방법이 있으며 다음 내용에서 설명한다.
향상된 Bayer 처리 기술 (1) - 광학 저역 통과 필터
Bayer 처리를 향상시키는 일반적인 방법은 이미지 센서 앞에 광학 저역 통과 필터(앤티 앨리어싱)를 쓰는 것이다. 광학 저역 통과 필터는 이미지의 세부 묘사(높은 공간 주파수) 때문에 생겨나는 모아레 효과(Moiré effect)를 줄이기 위해 공간 앤티 앨리어싱(antialiasing)을 제공한다.
광학 저역 통과 필터는 일반적으로 니오브 산 리튬(lithium niobate) 또는 석영과 같은 복굴절(birefringent) 재료의 여러 층으로 구성된다. 복굴절은 입사광의 편광 또는 방향에 의존하는 굴절률을 갖는 물질의 특성이다. 이것은 복굴절 물질에 입사하는 광선이 약간 다른 경로를 취하는 두 개의 광선으로 분리된다는 것을 뜻한다.
특정 파장 이상의 빛을 걸러내는 IR 컷 필터와 달리 OLPF 필터는 특정 공간 주파수 이상의 디테일을 필터링한다. 사실상 매우 정확한 흐림 메커니즘(blurring mechanism)을 제공한다.
향상된 Bayer 처리 기술 (2) - 더욱 우수한 성능의 디모자이킹 알고리즘
전체 디모자이킹 성능을 향상하는 두 번째 방법은, 원시 Bayer 데이터에 더 복잡한 알고리즘을 써서 누락된 색상 정보를 보간하는 것이다. 앞서 설명한 간단한 기법은 가장 가까운 이웃 픽셀 매핑을 쓰고 초록색 픽셀을 평균화하는 2×2 행렬을 토대로 한다. 다른 보간 기법으로는 3×3쌍 선형 보간과 3차 스플라인 보간이 있다. 훨씬 나은 결과를 산출하는 더 복잡한 알고리즘의 예가 많이 있다.
비교적 초기의 특허는 1987년에 Cok가 발표했는데, Cok은 색조 값(R/G 그리고 B/G)을 보간하여 빨강과 파랑 값을 도출하는 방법을 기술했다. 이 방법은 원치 않는 색조 변화를 유발하지 않으면서 색상 변두리를 줄인다. Maschal et al.은 패턴 인식, 적응색 평면 보간, 방향 가중 구배를 바탕으로 한 보간법이 있다. 디모자이킹 다음에 잘못된 색을 제거할 수 있는 다른 알고리즘도 존재한다.
이전에 설명한 간단한 2×2 디모자이킹 알고리즘의 베이어 처리 성능을 향상하는 데 쓰인 많은 기술이 있다. 어떤 것을 쓸지 선택하는 것은 필요한 성능과 계산의 복잡함에 달려 있다.
Bayer - 실제 예
iX 카메라 i-SPEED®7 컬러 카메라는 OLPF와 이전 섹션에서 설명한 디모자이킹 기술의 조합을 쓴다. 예시적인 이미지는 그림 8과 그림 9에 나와 있으며, 이는 그림 7 또는 그림 9에 표시된 것과 같은 장면이다. 단순한 2×2 디모자이킹 알고리즘을 써서 나타난 결과와 비교하면, 잘못된 컬러 아티팩트와 지퍼 효과는 더 이상 보이지 않는다.
결론
이 글에서는 인간이 어떻게 색을 인지하고, 기본 색의 개념이 어디서 왔는지를 논의했다. 이를 바탕으로 우리는 Bayer 필터가 단색 이미지를 컬러 이미지로 변환하는 기능을 설명했다. Bayer 디모자이킹 알고리즘이 관련 그림과 함께 제시됐다. 더 진보된 디모자이킹 기술은 실제 예제로 논의됐다.
자료 제공: iX Cameras(www.ix-cameras.com)
