하이다이내믹레인지의 기초부터 응용까지 (1)

하이다이내믹레인지를 달성하는 몇 가지 방법 (1)
하이다이내믹레인지는 지난 몇 년간 머신비전은 물론이고 일반 촬영 장비 및 기술 사이에서도 단연 주인공이었다. 몇 년 전까지만 해도 새로운 제품을 홍보할 때 꼭 빠지지 않는 문구이기도 했다. 지금이야 많이 알려진 기술이지만, 카메라 장비의 수명이 긴 점을 생각해보았을 때 아직까지는 대중적이지 않은 것이 사실이다. 특히 기존 장비와 하이다이내믹레인지 장비를 호환하는 경우 문제가 발생할 수 있다. 이런 문제를 예방하기 위해 IDS Imaging Development systems에서 기술 원고를 만들었다.
자료제공 | IDS Imaging Development Systems(ids-imaging.com)

목차
 1 개요
 2 용어 설명
  2.1 다이내믹레인지의 정의
  2.1.1 다이내믹레인지 측정법
  2.2 특성에 따른 이미지 캡처
  2.2.1 선형 특성
  2.2.2 감마 특성
  2.2.3 로그 특성
  2.3 디지털 이미지와 다이내믹레인지
  2.3.1 비트 깊이(Bit Depth)
  2.3.2 높은 비트 깊이에서의 이미지 프로세싱
  2.3.3 히스토그램 및 디지털 대비 조정

 3 하이다이내믹레인지 이미지 생성하기
  3.1 리니어 센서로 HDR 이미지 캡처하기
  3.1.1 리니어 센서를 작용시키는 방법
  3.1.2 다중 노출과 리니어 센서
  3.1.3 리니어 센서의 변곡점 특성(knee-point characteristic)
  3.1.4 기존 포토다이오드를 활용한 로그 HDR 센서
  3.1.5 태양전지와 로그 HDR 센서

 4 FX4 HDR 센서의 작동 방법
  4.1.1 픽셀 구조
  4.1.2 노출
  4.1.3 판독 모드
  4.1.4 고정 패턴 노이즈(FPN)를 수정하는 방법

 5 애플리케이션 노트
  5.1 일반적 사용 범위
  5.2 사용자 지침
  5.2.1 HDR 이미지의 표현과 처리
  5.2.2 렌즈 선택하기
  5.2.3 플래시 모드와 펄스 조명
  5.2.4 움직임

 6 부록
  6.1 FX4 HDR 센서 사양
  6.2 연락처 및 기타 정보

1. 개요
이미지 센서 분야의 기술을 개발하고자 할 때, 지금까지는 주로 픽셀을 추가하는 방식으로 해상도를 높여왔다. 그 결과, 현재 디지털카메라의 해상도는 10메가픽셀을 훌쩍 뛰어넘은 지 오래다. 이는 작업을 수행하는 과정에서 만들어지는 이미지가 터무니없이 작을 수 있다는 문제점을 초래한다. 인간의 눈으로는 물론이고 렌즈로도 분별이 어려울 정도로 세밀해지는 것.

그러나 다이내믹레인지(동적 범위)에 관해서는 인간의 눈이 기존의 이미지 캡처 장치보다 우수하다. 만약 캡처해야 하는 이미지가 지나치게 어둡거나 밝을 경우, 눈은 무리 없이 영상을 인식할 수 있는 반면 카메라는 금세 한계를 드러낸다. 그렇게 되면 영상 처리장치에는 여러 문제가 따르는데, 대표적으로 과다 노출로 인해 이미지 센서가 제대로 이미지를 인식할 수 없게 되고, 그 결과 이미지 데이터를 분실하고 만다. 반면, 하이다이내믹레인지 기술은 매우 밝은 환경에서도 이미지를 안정적으로 캡처할 수 있다.

이 문서는 하이다이내믹레인지 기술의 배경부터 하이다이내믹레인지 센서가 기능하는 방법 등을 개괄적으로 설명한다. 구체적 예시를 들기 위해 IDS에서 제작한 uEye카메라 시리즈, 그리고 카메라에 쓰인 FX4 HDR 센서에 초점을 맞춘다. 새로운 기술 활용사례에 대해서도 설명한다.

2. 용어 설명
이 문서에서 설명할 HDR 혹은 HDRI라는 약어는 하이다이내믹레인지 영상, 혹은 하이다이내믹레인지 이미지 프로그램을 의미하며, 하이다이내믹레인지 기술을 이용한 이미지 캡처 행위 등을 설명하기도 한다. 이와 반대 개념으로, 기존 기술을 이용해 캡처하는 행위나 이미지는 LDR 혹은 로우다이내믹레인지로 표시했다.

2.1 다이내믹레인지의 정의
일반적인 이미지의 다이내믹레인지는 최소 밝기부터 최대 밝기까지의 비율을 의미한다. 예를 들어, 태양을 등지고 있는 사람의 경우 등 뒤에서 비치는 태양이라는 밝은 부분과 태양 앞쪽의 그림자라는 어두운 부분을 모두 볼 수 있으므로 높은 다이내믹레인지를 가지고 있다고 볼 수 있다. 반면, 태양을 직접 보고 있는 경우에는 밝은 영역은 존재하지만 어두운 영역이 존재하지 않는다. 그러므로 탁월한 밝기를 획득한 대신 다이내믹레인지는 최소화되어있다고 말할 수 있다.

2.1.1 다이내믹레인지 측정법
다이내믹레인지는 일반적으로 로그 척도인 dB(데시벨) 단위로 측정 및 표시한다. dB은 밝기 단위가 높을수록 낮은 밝기 단위보다 큰 숫자로 표시한다. 밝기 값 ℓ1과 ℓ2의 비율을 계산할 땐 다음 식을 통해 dB의 값을 D로 변환한다.
 

60dB의 다이내믹레인지를 가진 기존 이미지 센서는 1천 대 1의 동적(다이내믹) 장면을 만들 수 있으며, 이때 가장 높은 밝기를 나타내는 i.e. 수치는 가장 낮은 밝기 수치보다 1000배 가량 밝다. 그런가하면 인간의 눈은 10만 대 1의 밝기 비율에 해당하는 장면을 보면서 100dB까지의 다이내믹레인지를 인식할 수 있다. 표 1은 각 dB마다 해당하는 다이내믹레인지를 표기한 것이다.
 

2.2 특성에 따른 이미지 캡처
어떤 장면을 감지하거나 이미지로 처리할 때는 이미지 특성의 형태가 중요한 역할을 한다. 이미지 특성이야말로 밝기의 차이를 표시하는 장본인이기 때문이다.

이미지 처리 프로세스(예를 들어, 모서리 탐지·문자 인식 등의 응용 프로그램)에 있어 선형 특성이 매우 중요한 역할을 한다.

반면, 인간의 눈은 로그 특성에 맞추어 자동적으로 밝기 차이를 인식한다. 감마 특성과 로그 특성이 근사한 수치를 가졌기 때문에 감마 특성에 익숙한 인간은 대략적으로 로그 특성 또한 인지할 수 있는 것.

이 세 가지 형태를 조금 더 자세히 알아보자.

2.2.1 선형 특성
어떤 시스템(기존의 CCD센서를 갖춘 카메라도 여기에 포함한다)은 두 개의 밝기 값을 통해 결과값을 두 번 산출하는데, 이런 시스템은 선형 특성을 가지고 있다(그림 1).
 

2.2.2 감마 특성
감마 특성, 혹은 감마 곡선이라는 단어는 그리스의 공식 기호인 γ문자를 본떠 만든 단어다. 감마 곡선은 다음 멱함수를 따른다.
 

이 감마 특성은 컴퓨터 화면에 사진 혹은 그림을 표시할 때 쓰인다. 감마값은 선형 특성을 다시 한 번 생성한다. 일례로 γ가 2.2일 때의 감마 곡선은 컴퓨터 화면에 그림 2와 같은 형식으로 표시된다.
 

이런 감마 특성은 이미지의 어두운 영역을 좀 더 밝게 보이게 하며(그림 3 참조), 이런 특성 덕에 기존 영상에 비해 인간의 눈이 보는 것과 더욱 흡사한 영상을 만들어내게 된다. 이미지의 밝은 영역을 타 특성 영상과 비교해 보면 밝기의 차이가 명확하게 드러난다.

2.2.3 로그 특성
로그 특성이 가진 효과는 앞서 설명한 두 특성보다 더욱 강하다. 로그 특성은 다음 함수를 통해 구할 수 있다.

그림 4를 보자. 이 도표에서 보이는 상승 곡선은 장면 속의 아주 작은 밝기 변화만으로도 이미지 전체의 밝기에 큰 영향을 끼친다는 것을 나타내고 있다. 이 도표는 로그 특성 및 이를 갖춘 이미지 센서가 하이다이내믹레인지 이미지 처리에 적합하다는 것을 단적으로 증명한다.

2.3 디지털 이미지와 다이내믹레인지
다이내믹레인지는 영상을 표시하는 데도 중요한 역할을 한다. 영상을 디지털화할 때는 캡처한 이미지의 다이내믹레인지가 출력하고자 하는 이미지 형식에 맞추어 제대로 표시할 수 있는가를 고려해야 한다. 다이내믹레인지를 고려하지 않으면 어렵게 촬영한 영상을 제대로 출력할 수조차 없게 되는 것.

영상은 디지털할 때는 비트 깊이(Bit Depth)가 결정적 역할을 한다.

2.3.1 비트 깊이
이미지센서의 픽셀 작업 과정은 다음과 같다. 우선 아날로그 전압 신호를 생성한다. 이 신호는 픽셀에 닿은 빛의 양과 비례한다. 이후 이미지는 추가 처리를 위해 디지털화된다.
 

그림 5는 그레이스케일 그라디언트를 사용한 예시다. 무단계 그라디언트(stepless gradient)를 2비트 디지털 범위 안에서 이미지화한다고 가정하면 결과값은 2의 2승인 4레벨이 된다. 만약 4비트 범위 안에서 이미지화한다면 2를 4번 곱한, 즉 2의 4승인 16레벨이 된다. 이때 기존 그라디언트의 중간 밝기 값은 디지털화된 뒤 손실된다.

약 200레벨 혹은 그 이상이 되면 우리 눈은 더 이상 밝기의 변화를 알아볼 수 없게 된다. 현재 통용되는 모니터 및 디지털카메라는 색상채널당 8비트(256레벨)만을 사용하는 것도 이 때문이다. 이 수치는 일반 영상을 시각화에는 충분하지만 하이다이내믹레인지를 표현하기에는 부족하다.

2.3.2 높은 비트 깊이에서의 이미지 프로세싱
디지털 이미지 데이터를 통해 추가적으로 이미지를 처리해야 할 경우에는 8비트보다 더 큰 비트 깊이가 필요하다. 이때는 컴퓨터를 통해 밝기 차이가 아주 미세한(눈으로는 구분할 수 없을 정도로 또렷한) 이미지까지 처리할 수 있다. 이런 기능을 수행하기 위해 오늘날 산업용 카메라에는 주로 12비트를 사용하는 추세다.
 

한편, 비트 깊이 수치가 높아지면 더 낮은 노이즈를 가진 이미지 센서를 필요로 하기 마련이다. 아주 작은 밝기 차이를 표현할 때는 노이즈가 큰 영향을 끼치는데, 이 작업에서 노이즈는 디지털화할 때보다 더욱 위력적이다. 노이즈가 발생하면 더 이상 데이터를 확보할 수 없게 된다.

2.3.3 히스토그램 및 디지털 대비 조정
디지털 이미지가 가진 밝기 분포는 히스토그램(이미지 밝기 값의 분포를 보여주는 다이어그램. 밝기 값은 x축에, 주파수는 y축에 각각 표시한다. 편집자 주)을 통해 표시된다. 이미지가 아주 뚜렷한 대비를 가지고 있을 경우 히스토그램은 0부터 최고값(8비트인 경우 255)까지의 모든 밝기를 표현할 수 있다. 반면, 이미지가 낮은 대비를 가지고 있다면 히스토그램은 적은 숫자만을 표현할 수밖에 없게 된다(그림 6).
 

이미지를 좀 더 해상도가 높은 화면에 표시하거나 인쇄할 경우 히스토그램을 유용하게 쓸 수 있다. 히스토그램이 활용 가능한 가장 밝은 밝기 수준을 사용해 이미지를 확산하는 것.

이를 위해 몇몇 프로그램을 사용할 수 있다. 예를 들어 LUT Characteristic(Look Up Table, 계산을 쉽게 하기 위해 표의 입력 및 출력값을 양도하는 프로그램)을 이용해 이미지의 어두운 부분은 더 어둡게, 밝은 부분은 더 밝게 만들 수 있다. 따라서 이미지는 더욱 큰 대비를 가지게 되고, 인간의 눈으로도 서로 다른 밝기를 구분할 수 있게 된다.

하지만 이런 프로그램을 사용하더라도 이후 컴퓨터를 이용한 처리과정에서 더 이상의 데이터를 얻지는 않는다. 따라서 소프트웨어를 통한 이후의 대비 조정은 영상 처리 과정에서 필요하지 않다. 컴퓨터는 대비 조정 과정이 없어도 밝기 차이를 구별할 수 있기 때문이다.

대비 조정 기능을 갖춘 높은 비트 깊이의 장점
출력되는 이미지의 비트 깊이는 대비 조정 과정에 중요한 역할을 한다. 그림 7을 예로 들면, 8비트 아웃풋을 나타낸 이 그림은 100 이하의 밝기 레벨을 가지고 있는데, 그림에서 이보다 더 어둡거나 밝은 부분은 존재하지 않는다. 이런 아웃풋 값을 가진 그림은 로 콘트라스트(Low Controst) 그림이다.
 

콘트라스트를 조정하면 히스토그램 값은 이와 반대로 풍부한 이미지를 만들게 된다. 그림 7의 아래쪽 히스토그램을 보면, 100 이하 밝기 값을 가지고 있던 이미지가 0에서 255까지의 레벨에 걸쳐 분산된 것을 확인할 수 있다. 이 간격 차이는 결국 이미지 밝기 증가라는 결과를 낳는다.
 

두 번째 예시는 그림 8에서 볼 수 있다. 이 그림에서는 동일한 아웃풋 이미지를 12비트의 비트 깊이로 바로 캡처한 것이다. 이 이미지 역시 낮은 콘트라스트를 보이고 있는데, 이는 이미지가 평균적인 밝기 값만을 가지고 있기 때문이다. 그러나 높은 비트 깊이 이미지의 밝기 값은 1000 이상의 서로 다른 디지털 레벨로 이미지화할 수 있다.

이 그림에서 전체 히스토그램은 12비트 이미지를 통해 4096의 밝기 값을 가지고 있다. 이는 8비트가 256레벨 밝기 값을 가지고 있던 것과 대조적이다.

앞서 설명했던 대비 조정 과정이 한층 발전해 이제 이미지 품질 저하 없이도 더 나은 화질을 출력할 수 있음을 의미한다. 이를테면 1000 밝기 값으로 출력한 이미지는 8비트 256레벨 밝기 값으로 배포할 수 있다. 이런 방법을 사용해 최적의 대비 결과를 얻을 수 있다. 출력된 값이 크면 그만큼 히스토그램에 갭이 없음을 뜻한다(그림 8).

그림 8과 같은 타입의 대비 조정 작업은 카메라가 자체적으로 수행할 수 있다. 이 이미지는 12비트로 디지털화함과 동시에 8비트로 전송되는 방식이다. 이 경우에는 8비트 데이터를 활용할 수 있는 최적의 방법을 찾는 것이 이미지 프로세싱 과정에서 중요한 역할을 차지한다.

HDR 센서를 통한 대비 조절
대비 조절 작업은 이미지 처리 과정에서도 중요한 역할을 담당한다. 사용자가 하이다이내믹레인지 센서를 갖추고 있을 때 더욱 그렇다. 현장에서 센서의 동적 범위는 보통 흐릿하고 칙칙한 이미지 출력 결과보다 더욱 크다. 따라서 대비 조절을 통해 더 좋은 결과로 얻을 수 있다. 그림 6에서 보는 것과 같이 이런 이미지의 명암 및 대비를 조절하는 것은 이미지의 시각적 인상을 높인다.

다음호에 계속