하이다이내믹레인지의 기초부터 응용까지 (2)

하이다이내믹레인지를 달성하는 몇 가지 방법 (2)
하이다이내믹레인지는 지난 몇 년간 머신비전은 물론이고 일반 촬영 장비 및 기술 사이에서도 단연 주인공이었다. 몇 년 전까지만 해도 새로운 제품을 홍보할 때 꼭 빠지지 않는 문구이기도 했다. 지금이야 많이 알려진 기술이지만, 카메라 장비의 수명이 긴 점을 생각해보았을 때 아직까지는 대중적이지 않은 것이 사실이다. 특히 기존 장비와 하이다이내믹레인지 장비를 호환하는 경우 문제가 발생할 수 있다. 이런 문제를 예방하기 위해 IDS Imaging Development systems에서 기술 원고를 만들었다.
자료제공 | IDS Imaging Development Systems(ids-imaging.com)

목차
 1 개요
 2 용어 설명
  2.1 다이내믹레인지의 정의
  2.1.1 다이내믹레인지 측정법
  2.2 특성에 따른 이미지 캡처
  2.2.1 선형 특성
  2.2.2 감마 특성
  2.2.3 로그 특성
  2.3 디지털 이미지와 다이내믹레인지
  2.3.1 비트 깊이(Bit Depth)
  2.3.2 높은 비트 깊이에서의 이미지 프로세싱
  2.3.3 히스토그램 및 디지털 대비 조정

 3 하이다이내믹레인지 이미지 생성하기
  3.1 리니어 센서로 HDR 이미지 캡처하기
  3.1.1 리니어 센서를 작용시키는 방법
  3.1.2 다중 노출과 리니어 센서
  3.1.3 리니어 센서의 변곡점 특성(knee-point characteristic)
  3.1.4 기존 포토다이오드를 활용한 로그 HDR 센서
  3.1.5 태양전지와 로그 HDR 센서

 4 FX4 HDR 센서의 작동 방법
  4.1.1 픽셀 구조
  4.1.2 노출
  4.1.3 판독 모드
  4.1.4 고정 패턴 노이즈(FPN)를 수정하는 방법

 5 애플리케이션 노트
  5.1 일반적 사용 범위
  5.2 사용자 지침
  5.2.1 HDR 이미지의 표현과 처리
  5.2.2 렌즈 선택하기
  5.2.3 플래시 모드와 펄스 조명
  5.2.4 움직임

 6 부록
  6.1 FX4 HDR 센서 사양
  6.2 연락처 및 기타 정보


지난호에 이어서 계속

3. 하이다이내믹레인지 이미지 생성하기
하이다이내믹레인지 이미지를 만드는 방법은 여러 종류가 있다. 지금부터 하이다이내믹레인지 이미지를 만드는 네 가지 방법에 대해 설명한다. 이 기법들의 차이를 설명하기 위해 기존 센서와 선형 특성·로그 특성·선형 특성·하이다이내믹레인지 센서 등을 비교한다. 후에 등장할 다중 노출 기능은 이 사이에서 특별한 역할을 담당하고 있으며, 기술의 완성도와도 밀접한 관계가 있다.

3.1 리니어 센서로 HDR 이미지 캡처하기
3.1.1 리니어 센서를 작용시키는 방법
기존의 CCD 혹은 CMOS 센서 픽셀은 내리쬐는 빛의 양에 비례해 전하를 생성한다. 대전입자(Charge Carrier)는 빛에 노출되는 시간동안 지속적으로 축적된다. 각 픽셀의 전하량은 노출되는 시간의 마지막 부분에 리드아웃 된다. 이때 센서의 다이내믹레인지에 제한이 있으며, 보통 픽셀이 상승하는 방향으로 포화상태가 되었을 때 이런 제한이 발생한다.

그림 9를 보면 기존의 리니어 센서가 제한적인 다이내믹레인지를 나타내고 있음을 알 수 있다. 또한 도표의 굵은 점선 바깥 영역은 이미지화할 수 없는데, 채도에 한계가 있기 때문이다.

센서가 포화상태에 다다랐을 때 조명이나 빛을 더욱 추가하게 되면 과다 노출로 이어진다. 특히 CCD 센서의 경우 ‘Blooming’ 효과도 발생할 수 있어 더욱 조심스럽다. 이때 대전입자는 과다노출 상태 픽셀이 근처 이웃 픽셀로 전염시키는 이른바 ‘흐름(Flowing)’ 현상을 필수적으로 수반한다. 이 현상이 발생하면 이미지의 전체 영역이 흰색으로 뒤덮여버리며, 이미지 데이터가 손실된다. 이미지 품질을 유지하기 위해 반드시 없애야 하는 현상이다.
 

과도한 노출을 방지하는 데는 조리개를 닫거나 노출 시간을 줄이는 것이 효과적이다. 하지만 이런 방법도 주의하여 사용해야 한다. 이 기능들은 빛을 줄이는 만큼 노이즈를 포함하고 있으며, 그렇기 때문에 이 기능을 남용하면 이미지 데이터 역시 손실될 우려가 있다.

3.1.2 다중 노출과 리니어 센서
다중 노출 기능은 디지털 사진에서 주로 사용하는 방법이며, 특히 하이다이내믹레인지를 활용한 촬영에 많이 쓰인다.

다중 노출 기능의 사용법은 다음과 같다. 우선 올바른 노출값으로 이미지를 획득한 뒤, 과소 노출 및 과다 노출 기능을 활용해 최소 두 번을 다시 촬영한다. 이때 과소 노출 이미지는 밝은 영역을 비교적 원만하게 촬영하는 반면 몇몇 부분은 제대로 표현하지 못한다. 과다 노출은 위와 반대로 어두운 영역을 잘 표현할 수 있으며 밝은 영역은 표현하지 못한다.
 

다중 노출 기능은 획득한 영상을 한 장의 다이내믹레인지 이미지로 통합한다. 이 때 쓰이는 기능은 톤 매핑 오퍼레이터라는 이름이다. 이 기술은 이론상으로 다이내믹레인지를 무제한적으로 만들 수 있다. 이 기술은 일반 사진용이 아닌 산업용으로 특화된 기술이라고 여겨지는데, 촬영방법을 다중 캡처 방식으로 변경하지 못하기 때문이다. 연산시간을 길게 잡아먹는다는 점도 일반 사진용으로는 적합하지 않은 이유다.

3.1.3 리니어 센서의 변곡점 특성
몇몇 CMOS 센서는 선형 특성을 구간적으로 사용할 수 있는 옵션을 제공한다(이런 기능을 제공하는 센서는 대표적으로 Aptina MT9V033 센서가 있는데, IDS uEye 카메라의 UI-122x 및 UI-522x 모델 등에 사용된다). CMOS 센서의 구간적 선형 특성을 통해 감마 혹은 로그 특성을 대략적으로 산출할 수 있다.
 

사용자가 결정한 지속시간 t1(이 때, t1은 노출시간보다 짧아야 한다)이 경과하면, 전하 한도값 q1을 넘어선 모든 픽셀은 q1 으로 재설정된다. 보통 이 이후에도 노출이 지속된다. 그림 12는 변곡점 특성 등의 정보를 나타내는데, 이 경우 결과값은 충전 전류가 최대치의 60% 이상이면 전체 노출 시간의 85%가 지난 이후에 결정하는 방식으로 선택한다.

그림 12에서는 이 값을 전체의 60%로 재설정한 뒤 추가로 노출을 받게 된다. 이는 이미지 내부의 밝은 부분에 있는 픽셀이 차후 포화상태에 이르게 됨을 의미하며, 이때 이미지는 더 높은 다이내믹레인지를 갖게 된다.

반면, 다중 변곡점을 가진 센서는 다중 시간 tn과 역치 qn을 정의한다. 이 방법을 사용하면 약 80dB에 가까운 다이내믹레인지를 달성할 수 있다. 이 경우 다중 변곡점은 어떤 상황에서라도 과다 노출을 실현할 수 있도록 각 노출 상황마다 매번 값을 재조정해야 한다는 것이 난점으로 작용한다. 이 방법은 주로 흑백 센서에서 주로 사용하게 되는데, 컬러 센서가 서로 다른 변곡점을 사용하여 화이트밸런스를 맞추는 작업이 어렵기 때문이다.

3.1.4 기존 포토다이오드를 활용한 로그 HDR 센서
 

이 개념을 이해하기 위해 전에 설명했던 수식을 다시 상기하자. 2.1.1절에서 설명했던 수식을 활용하면 256 밝기 레벨을 가진 선형 8비트 이미지로는 48dB 다이내믹레인지 이미지를 만들 수 없음을 유추할 수 있다.

선형 특성을 이용해 120dB의 다이내믹레인지를 표현하기 위해서는 밝기 단계를 100만에 가깝게 높이거나 비트 깊이가 20bit까지 도달한 센서가 필요하다. 그러나 센서가 로그 특성을 가지고 있다면 120dB 다이내믹레인지를 2진수로 디지털화할 수 있다. 이는 로그 픽셀이 동압축을 할 수 있기 때문으로, 바로 이런 특성 때문에 로그 특성이 HDR에 적합하다고 일컬어진다.

이를 실현하기 위해 포토다이오드와 비직선 저항기(非直線抵抗器)가 필요하다. 기존 CMOS 센서와 마찬가지로 포토다이오드역시 내리쬐는 빛의 양에 비례해 광전류를 공급한다. 다이오드와 직렬로 하나 혹은 그 이상의 MOS 트랜지스터를 이으면 이 방법을 사용할 수 있다. 이 트랜지스터가 가진 로그 특성은 로그 출력 전압을 산출한다(그림 14).
 

하이다이내믹레인지 센서와 고정 패턴 노이즈
이 구조가 가지고 있는 가장 큰 단점은 고정 패턴 노이즈(Fixed Pattern Noise, FPN)가 생긴다는 것이다. 암전류 및 누설 전류의 영향으로 모든 픽셀에 서로 다른 오프셋이 발생한다. 반면 기존의 선형 센서를 갖추면 이런 현상이 거의 발생하지 않는다. 로그 특성은 이미지의 어두운 영역 부분을 강조해 밝기 차이를 드러내는데, 이 때문에 노이즈 패턴이 하이다이내믹레인지 센서에 강한 영향을 미치는 것.

고정 패턴 노이즈를 포함한 여타 단점들을 피하기 위해서는 낮은 밝기 범위를 가진 선형 특성 센서가 필요하다. 픽셀이 특정한 임계치에 도달하기 전까지는 로그 모드로 전환하지 않는다. 이런조건을 만족하는 LinLog라는 센서 기술은 선형 특성과 로그 특성의 장점을 결합하는 것이 특징이다. 하지만 이런 조합 역시 단점이 존재한다. 새로운 노출에 접할 때마다 전이점을 새로 생성해 그에 맞추어 두 모드 사이의 값을 다시 조절해야 한다는 점이 그것이다.

3.1.5 태양전지와 로그 HDR 센서
IDS uEye카메라에 장착된 FX4 HDR 센서는 완전히 다른 원리로 작동한다. 지금까지 사용해왔던 포토다이오드 중 어떤 제품도 사용하지 않으며, 대신 태양전지를 쓴다는 것이 큰 특징이다.

물론 이 센서 안에도 원칙적으로 포토다이오드는 존재한다. 하지만 여타 센서와는 다른 방식으로 작동한다. 포토다이오드가 빛의 양에 비례해 선형 전류를 만드는 동안, 태양전지는 빛의 양에 따라 로그 전압을 출력한다. 즉, 이 두 가지 방법을 통해 선형 특성 및 로그 특성을 모두 획득하게 되는 셈. 로그 신호를 이미 가지고 있으면 차후 신호변환 등도 필요없다. 따라서 이 센서는 이미 로그 특성을 완벽하게 갖추었다고 볼 수 있다.

4. FX4 HDR 센서의 작동 방법
새로운 픽셀 체계를 통해 고정 패턴 노이즈 없는 진정한 로그 특성 센서를 개발할 수 있게 되었다(자세한 설명은 문서의 윗부분 참조). 이 센서가 작동하는 방법을 아래에 설명한다.

4.1.1 픽셀 구조
IDS uEye카메라에 장착된 FX4 HDR 센서는 고정 패턴 노이즈를 효과적으로 억제해 진정한 로그 디스플레이를 제공하는 픽셀 구조를 가지고 있다.

이 시스템은 포토다이오드를 마치 태양전지처럼 운용하고 있으며, 들어오는 빛의 양에 맞추어 정확히 로그 전압을 생성한다. 신호는 픽셀 및 출력 아날로그를 통해 증폭한다. uEye 카메라에서는 외부 A/D 컨버터가 14비트 해상도로 디지털화 작업을 처리한다. 이때 A/D컨버터의 전압 범위는 센서의 최대 출력 전압보다 더 큰데, 이는 디지털 레벨의 오버컨트롤을 방지하고 센서의 온도 드리프트를 보상하기 위함이다.

FX4 센서는 120dB 다이내믹레인지를 실현했다. 하지만 여기서 알아두어야 할 점은 하이다이내믹레인지 기술이 센서 감도 증가율과 항상 동일하지만은 않다는 것이다. 그만큼 구현 및 사용하기 쉬운 기술이 아니라는 것. 현재 FX4 하이다이내믹레인지 센서의 빛 감도 능력은 현존하는 CCD와 CMOS 센서 사이에 있다.
 

4.1.2 노출
FX4 센서는 통합적인 원칙이나 표준이 없다. 이런 특성상 노출 시간에 대한 원칙 및 규약 또한 없다. HDR 픽셀은 항상 매 시간마다 실시간으로 제공되는 광량에 해당하는 전력만을 출력한다.

전압 레벨은 사용자가 원하는 화면주파수를 획득하는 방식을 쓴다. 예를 들어 초당 30프레임을 획득할 경우, 각 픽셀에서 측정한 빛의 값을 매 초마다 30번 출력한다. 아날로그 전압의 경우 후속 아날로그/디지털 컨버터에 의해 디지털화된다.

4.1.3 판독 모드
FX4는 픽셀 값을 한 줄씩 판독한다(이를 롤링 리드아웃 방식이라 한다). 이때 시스템이 현재 판독하는 라인 n과 다음 라인인 n+1 사이에 존재하는 짧은 시간차로 인해 롤링 셔터 효과를 볼 수 있다. 여기서 빠른 속도로 관측 범위를 지나다니는 객체의 경우 기하학적 왜곡이 가해져 표시될 수 있다. 예를 들어 빠르게 가로지르는 사각형 모양 객체를 캡처할 경우, 객체의 위쪽 부분이 아래쪽 부분보다 더 빠르게 캡처되기 때문에 결과적으로 평행사변형 모양으로 촬영될 가능성이 있다.

영상 전체를 판독하는 데 걸리는 시간은 ‘timage = 1/프레임률’이라는 수식으로 도출할 수 있다. 그러므로 두 라인 사이의 오프셋은 ‘tline = timage/프레임률’이다.

센서는 프로그래시브 스캐닝 모드를 통해 작동한다. 이 스캐닝 모드는 하나의 완성된 이미지를 판독하는데, 한 가지 판독 요소를 서로 교차해 판독하는 비월주사(飛越走査)방식과 대조적이다.

4.1.4 고정 패턴 노이즈(FPN)를 수정하는 방법
FX4 센서는 거의 완벽하게 패턴 노이즈를 제거할 수 있는 메커니즘을 제공한다. 포토다이오드는 리셋 트랜지스터 때문에 센서가 판독하기도 전에 합선을 일으키게 된다. 픽셀을 통한 신호 출력은 current offset만을 포함하고 있으며, 이 신호는 캡처된 이미지로부터 제외될 수 있다. 이 과정은 모든 이미지를 캡처하기 전에 한 라인씩 차례로 수행하는 방식으로 이루어진다.

5. 애플리케이션 노트
5.1 일반적 사용 범위
HDR 센서를 탑재한 카메라는 두 가지 환경에서 주로 쓰인다.

① 높은 다이내믹레인지가 필요한 환경
② 밝기가 강하고 그 변화가 잦으며 예측하기 어려운 환경

이 중 높은 다이내믹레인지가 필요한 환경이란 다음과 같다.

1) 자동차 및 교통: 헤드라이트 등 첨단 차량의 밝은 빛에 센서가 노출되며, 동시에 차량 내부 등의 어두운 영역에서도 데이터를 동시에 평가해야 하는 경우.

2) 용접: 용접 아크가 밝은 빛을 만들어 기존 센서를 사용해 용접 개체나 용접층 혹은 용접면 등을 확인하기 어려운 경우.

3) 페인트 및 광택 표면: 경면(morroring surfaces)의 상이 반사되거나 윤이 나는 지점에서 더욱 높은 다이내믹레인지 센서를 필요로 한다.

4) 키오스크(단말기) 애플리케이션: 현금지급기·자판기·무료 셀프 서비스 등의 분야에서는 더 상세한 이미지가 필요하다. 조명 여건이 좋지 않다면 기존 센서의 다이내믹레인지만으로 단말기를 보호하기는 어렵다.

밝기가 강하고 그 변화가 잦으며 예측하기 어려운 환경은 보안 기술 및 모니터링에서 볼 수 있다. 구름이 신속하게 움직이는 곳이나 햇볕이 잘 드는 곳 등에서 움직임이 많은 장면을 촬영해야 할 경우, 기존 모니터링 카메라가 가진 자동 조리개는 과부하를 일으킬 수 있다.

5.2 사용자 지침
하이다이내믹레인지 센서를 장착한 카메라를 사용할 경우 다음 정보를 주의깊게 읽어야 한다(편집자 주: 이 문서에서는 FX4 센서에 대해 중점적으로 다루고 있으므로 FX4 센서를 위주로 설명하고 있다. 하지만 다른 하이다이내믹레인지 센서에 대입하더라도 큰 무리는 없을 것으로 보인다).

5.2.1 HDR 이미지의 표현과 처리
2.3.2절과 2.3.3절에서 설명한 바와 같이, 높은 비트 깊이는 이미지 처리 과정 전반에 걸쳐 매우 유용하며, 특히 하이다이내믹레인지 이미지 처리에 강하다.

이미지의 다이내믹레인지를 완벽히 활용하기 위해서는 12비트 깊이로 전송하는 것이 좋다. 이미지를 높은 비트로 전송하면 이미지의 적절한 영역에 소프트웨어를 사용하여 좀 더 좋은 품질로 만들 수 있다.

uEye HDR 카메라는 왜곡 없는 이미지를 구현하기 위해 ‘approximately linear mode’를 갖추고 있다. 이 기능은 기존 센서의 이미지 대조 기능에 해당한다.

이를 실현하기 위해 센서의 출력부가 사각형 모양으로 나뉘어있다. log(x)×log(x)의 결과는 감마 특성과 0.5 정도의 근사치로 일치한다. 따라서 화면에 표시하기에 적합하다(2.2.2절 참조).
 

하지만 이 기능은 사용할 수 있는 다이내믹레인지가 감소하는 현상을 만들 수도 있다. 이미지 데이터를 추가적으로 좀 더 많이 처리하고자 한다면 이 모드를 사용하는 것은 권장하지 않는다.

5.2.2 렌즈 선택하기
하이다이내믹레인지 센서는 그 이름처럼 높은 다이내믹레인지를 가지고 있다. 따라서 렌즈를 선택할 때도 주의를 기울여야 한다. 기존 이미지 센서보다 더 심하게 반사를 일으키기 때문이다. 제대로 조절되지 않은 렌즈를 사용하면 반사광으로 인해 최소 4% 이상 많은 빛을 추가로 캡처하게 된다. 이렇게 반사된 빛이 연이어 렌즈에 작용해 결과적으로 이미지가 산만해진다. 하이다이내믹레인지 센서를 탑재한 카메라로 고품질 이미지를 획득하기 위해서는 렌즈에 고품질 반사 방지 코팅을 입혀야 한다.
 

5.2.3 플래시 모드와 펄스 조명
FX4와 같은 지금까지의 하이다이내믹레인지 센서는 아직 일반 센서와 완벽히 통합되지 않았다. 그 때문에 플래시 모드에도 제한이 있다. 센서를 판독할 때, 다량의 빛이 각 픽셀에 내리쬐는 순간 반응해 내리쬐는 시간과 양을 측정한다. 이런 이유 때문에 플래시 이미지 전체를 판독하는 동안 반드시 전체 이미지를 비추며 활성 상태로 유지해야 한다.

센서를 롤링 리드아웃 방식으로 판독할 경우, 일반적으로 고전력 플래시를 동원하기 어렵다. 이때는 다른 광원이 전체 판독 기간 동안 조명해야 한다(t=1/프레임률).

통합 센서의 부재가 낳는 또 다른 단점은 LED나 레이저, 전기 아크 용접 등 빠르게 깜빡이는 광원에서 볼 수 있다. 광원이 쉼 없이 깜빡이면서 밝기 또한 계속해 변동하는데, 이때 빛과 어둠이 교차하기 때문에 이미지 획득에 어려움을 겪게 되는 것.

5.2.4 움직임
FX4 센서를 통해 빠르게 움직이는 물체를 포착코자 한다면, 4.1.3절의 판독 모드 정보를 참조하면 된다.

6. 부록
6.1 FX4 HDR 센서 사양

센서 종류: HDR CMOS sensor
픽셀 사이즈: 10μm × 10μm
해상도: 768 × 576pixel(CCIR)
다이내믹레인지: 120 dB
최대 프레임율: 50 fps
판독 방법: 롤링 리드아웃
디지털화 도구: 14비트 A/D 컨버터
출력: 8비트 혹은 12비트

6.2 연락처 및 기타 정보
IDS Imaging Development System은 uEye 카메라 라인을 포함해 산업과 비산업적 환경의 영상처리를 위한 USB 및 GigE 카메라 제품군을 제공한다.

널리 알려진 제조업체의 CCD 및 CMOS 센서를 제공하며, VGA부터 10메가픽셀까지의 해상도와 풀 프레임에서 100fps 이상의 프레임률을 제공한다.

카메라와 함께 소프트웨어 패키지를 사용하면 어떤 카메라든지 이미지 프로세싱 라이브러리에 통합하거나 자신이 필요한 응용프로그램에 적용해 사용할 수도 있다.

IDS와 uEye에 대한 자세한 내용은 www.ids-imaging.com에서 찾을 수 있다.