머신비전 용도에 적합한 카메라 센서 이해

비전 시스템에선 카메라, Capture Board, 소프트웨어, 케이블을 포함한 모든 부품이 적절히 결합돼야 최적의 시스템 성능을 제공할 수 있다. 마찬가지로 이미징 시스템도 각 요소별 기능이 제대로 발휘돼야 시스템이 제 기능을 할 수 있다. 따라서 이미징 시스템의 효과적 운용을 위해서는 Imaging Optics는 물론 Imaging Electronics까지 관련된 핵심 개념 및 용어를 이해해야 한다.

카메라의 심장은 센서다. 센서는 Pixel이라 불리는 최대 수백만개의 독립적인 Photo Detector Sites를 포함하고 있는 Solid State Electronic Devices다.

과거 카메라에는 이미지 센서로 Vidicons 및 Plumbicons와 같은 Phototubes를 사용했다. 이제 Phototubes는 더 이상 사용되지 않지만 센서 크기 및 형식과 관련된 전문 용어는 지금까지 사용되고 있다.
과거 Phototubes의 개념을 기반으로 오늘날 머신비전 센서는 거의 CCD와 CMOS 2개로만 분류된다.

CCD(Charge Coupled Device)
CCD는 1969년에 미국 뉴저지주 소재 벨연구소의 과학자들이 발명했다. 이 기술은 Digital Astrophotography부터 머신비전 결점검출에 이르기까지 이미지 캡처를 위한 유력한 기술이었다.

CCD 센서는 Photo Sensitive Site가 배열된 실리콘 칩이다. Charge Coupled Device라는 용어는 사실 칩 상에서 Charge Packet이 이동하는 방식(Photosite에서 판독을 하는 Shift Register로)을 의미하며 Bucket Brigade의 개념과 유사하다. Clock Pulses는 Capacitor에 의해 전압으로 변환되기 전에 칩에서 Charge Packet을 이동시키기 위한 Potential Well을 생성한다.

CCD 센서는 아날로그 장치이지만 칩에 내장돼 있거나 외장 형태인 디지털 카메라의 ADC(Analog to Digital Converter)에 의해 곧바로 디지털 신호로 출력이 전환된다. 아날로그 카메라에서 각 Site의 전압은 특별한 순서로 판독되며 Signal Chain의 특정 포인트에서 이미지 재구성을 위해 Synchronization Pulse가 추가된다.

Charge Transfer는 CCD 속도 저하 현상을 일으키는 주요 원인이 되지만 Charge Packet이 전송할 수 있는 속도로 제한되기 때문에 CCD의 높은 Sensitivity와 Pixel간 일관성으로 이어지기도 한다.
각 Charge Packet은 동일한 Voltage Conversion을 보기에 CCD는 Photosensitive Site 전체에 걸쳐 매우 균일하다. 또한 Charge Transfer는 유한한 Well Depth 또는 Charge Capacity로 인해 하나의 Photosensitive Site에서 전하가 인접 Site로 넘치는 Blooming 현상을 유발하기도 하는데 이는 센서의 유효 Dynamic Range에 상한값을 만들게 된다. 이 현상은 CCD 카메라 이미지에 밝은 점으로부터의 번짐으로 표현된다.

CCD의 낮은 Well Depth를 보정하기 위해 Fill Factor를 증가시키기 위한 Microlenses가 사용되거나, Charge-Coupled Shift Register가 차지한 칩의 공간을 보정하기 위해 Effective Photo Sensitive Area가 사용된다. 이를 통해 Pixel 효율이 개선되지만 입사광의 Angular Sensitivity가 증가해 빛이 센서에 거의 직각으로 입사하도록 요구하게 된다.

CMOS(Complementary Metal Oxide Semiconductor)
CMOS는 1963년 Frank Wanlass가 발명했다. 하지만 1967년까지 특허를 취득하지 못했으며 1990년대까지는 이미징 용도로 널리 사용되지 못했다. CMOS 센서에서 Photosensitive Pixel 전하는 Pixel Site의 전압으로 변환되고 신호는 여러 개의 온칩 DAC(Digital to Analog Converters)로 행과 열별 다중 송신된다.

디자인 특성상 CMOS는 디지털 디바이스다. 각 Site는 기본적으로 Photodiode, Pixel 재설정 또는 활성화, 증폭 및 Charge Conversion 그리고 선택 또는 다중 전송 기능을 수행하는 3개의 트랜지스터로 이루어져 있다. 이로 인해 CMOS 센서는 속도가 빠르지만 Sensitivity가 낮을 뿐만 아니라 여러 개의 Charge to Voltage Conversion Circuits 제조에 있어서의 불일치로 인해 높은 Fixed Pattern Noise가 발생한다.

CMOS 센서의 다중 전송 구성은 종종 Electronic Rolling Shutter와 결합되곤 한다. 하지만 다중 전송은 Pixel Site에 트랜지스터를 추가해 Global Shutter를 확보할 수 있는데 이 경우 모든 Pixel이 동시에 노출된 뒤 순차적으로 판독된다. CMOS 센서의 다른 장점은 적은 전하 흐름 또는 전류로 인한 동급 CCD 센서 대비 낮은 전력 소모와 낭비를 들 수 있다. 또한 CMOS 센서는 Blooming 없이 높은 Light Level을 처리할 수 있어 높은 Dynamic Range의 특수 카메라에도 사용할 수 있으며 심지어 용접 이음매 또는 전구 필라멘트 촬영도 가능하다.

CMOS 카메라는 디지털 CCD 카메라에 비해 크기가 작은 경향이 있는데 이는 디지털 CCD 카메라에는 별도의 Off-Chip ADC 회로가 필요하기 때문이다.

CMOS 센서의 복층 제조 공정에는 칩에 Microlenses를 사용할 수 없어 CCD 센서에 비해 센서의 Effective Collection Efficiency 또는 Fill Factor가 낮다. 이러한 낮은 효율은 Pixel 간 불일치와 결합돼 CCD 센서 대비 낮은 Signal-to-Noise Ratio 및 낮은 이미지 품질로 이어진다.

적외선 에너지에 Photo Current을 생성하는 InGaAs 센서
SWIR(Short-Wave Infrared)는 이미징 분야에서 새롭게 떠오르는 기술이다. 일반적인 파장 범위는 0.9~1.7μm 사이인 빛으로 정의되지만 0.7~2.5μm 범위의 빛으로 분류할 수도 있다. SWIR 파장을 사용하면 밀도 변화뿐 아니라 안개와 같은 장애물을 뚫고도 이미지를 촬영할 수 있다.
하지만 일반적인 CCD와 CMOS 이미지는 IR 파장에서 감도가 충분하지 않아 유용하지 않다. 그래서 특수 InGaAs(Indium Gallium Arsenide) 센서가 사용된다. InGaAs 소재는 Band Gap 또는 Energy Gap이 있어 Infrared 에너지에서 Photo Current를 생성하는 데 유용하다. 이 센서들은 보통 CMOS 센서 건설의 InGaAs Photo Diodes 어레이를 사용한다.

SWIR보다 더 긴 파장에서는 Thermal Imaging이 유력하다. 이를 위해서는 7~14μm 파장범위에서의 감도를 위해 Microbolometer Array가 사용된다. Microbolometer Array에서 각 Pixel에는 온도에 따라 변화되는 저항을 갖는 Bolometer가 들어 있다. 이러한 저항변화는 전자 공학에 의해 Substrate에서 전압으로 변환돼 판독된다. 이들 센서는 많은 Infrared Imagers와 달리 적극적인 냉각이 필요하지 않다.

픽셀 크기에 따라 달라지는 해상도
이미지의 빛이 카메라 센서에 들어오면 Pixel이라 불리는 작은 Potential Well 매트릭스에 의해 집광된다. 이미지는 이러한 작고 불연속적인 Pixel들에 분리 입력된다. 이 Photosite의 정보는 표시할 모니터에 수집, 구성 및 전송된다.

Pixel은 Photodiode 또는 Photocapacitor로서 센서의 불연속적 위치에 입사된 빛의 양에 비례하는 전하를 생성하며 공간적으로 전하의 양을 제한하고 전하를 저장한다. Pixel이 Incident Photon을 전하로 변환할 수 있는 능력은 Quantum Efficiency에 의해 지정된다. 예를 들어, 10개의 Incident Photon에 대해 4개의 Photo-Electrons가 생성된다면 Quantum Efficiency는 40%다. Solidstate Imager의 일반적인 Quantum Efficiency 값은 30~60%사이로 파장에 따라 달라지며 Light Intensity에 대한 반응이 균일하지 않을 수도 있다. 스펙트럼 응답 곡선은 종종 Quantum Efficiency를 파장의 함수로 지정한다.

디지털 카메라에서 Pixel은 일반적으로 사각형이다. 일반적인 Pixel 크기는 3~10μm 사이며 픽셀 개수만으로 센서를 지정하는 경우도 있지만 Imaging Optics에서 더욱 중요한 것은 픽셀크기다. 픽셀이 크면 일반적으로 Charge Saturation Capacities 및 SNRs(Signal-To-Noise Ratios)가 높다. 픽셀이 작으면 Blooming과 같은 문제가 심각해지고 Pixel Crosstalk이 높은 Spatial Frequencies에서 Contrast를 저하시키지만 고정된 센서 크기 및 배율에서 고해상도를 얻기가 쉬워진다.

센서 해상도의 간단한 측정법은 밀리미터당 Pixel 수를 계산하는 것이다. 아날로그 CCD 카메라의 픽셀은 직사각형이다(세로가 더 김). 이는 대역폭 제한으로 인한 신호 표준의 주사선 수 제한 때문이다(NTSC의 경우 525 라인, PAL의 경우 625 라인). 비대칭 Pixel로 인해 세로보다 가로축 해상도가 높다. 아날로그 CCD 카메라(동일한 신호 표준 사용)는 대개 동일한 세로 해상도를 갖기 때문에 이미징 업계 표준은 가로 해상도를 기준으로 해상도를 지정한다.

센서가 클수록 시야는 넓어지지만 Vignetting 발생
카메라 센서의 활성 영역 크기는 시스템 FOV(Field Of View) 결정에 중요한 역할을 한다. 이미징 렌즈에 의해 결정된 고정 기본 배율을 적용하면 센서가 클수록 FOV가 더 커진다. 몇 가지 표준 Area-Scan 센서 크기가 있는데 1/4", 1/3", 1/2", 1/1.8", 2/3", 1", 1.2"가 있으며 이보다 더 큰 것도 있다.

이들 표준에 사용되는 용어의 기원은 TV 방송용 이미지에 사용된 Vidicon 진공관으로 거슬러 올라간다. 따라서 센서의 실제 규격은 차이가 있음을 유념해야 한다.
※ 참고 : 센서 크기와 규격 사이에 직접적인 연관은 없다.

이것은 규약일 뿐이지만 이들 표준 대부분은 4:3(가로:세로) 비율을 갖고 있다. 이미징 용도에서 자주 발생하는 한 가지 이슈는 이미징 렌즈의 특정 센서 크기 지원 능력이다.

센서가 렌즈 디자인용으로 너무 크면 Vignetting(이미징 렌즈의 가장자리를 통과하는 빛의 감소)으로 인해 이미지 결과가 흐려지고 가장자리로 갈수록 품질이 저하될 수 있다. Field 가장자리가 어두워지기 때문에 이를 Tunnel Effect라 부른다. 하지만 센서 크기가 작아지면 이 Vignetting 문제가 생기지 않는다.

Frame Rate 및 셔터 속도
Frame Rate는 1초에 표시되는 전체 프레임 수(두 개의 Field로 구성됨)를 의미한다. 예를 들어, 30 Frames/Second의 Frame Rate를 갖고 있는 아날로그 카메라에는 2개의 1/60초 Field가 포함돼 있다. 고속 카메라에서는 피사체가 FOV를 통과할 때 더 많은 피사체 이미지를 촬영할 수 있도록 더 빠른 Frame Rate를 선택하는 것이 유용하다.

셔터 속도는 센서의 노출 시간에 해당된다. 노출 시간은 입사광의 양을 제어한다. 카메라 Blooming(과다 노출이 원인)은 조명을 줄이거나 셔터 속도를 높여 제어할 수 있다. 셔터 속도를 높이면 초당 30회의 샘플링만 되는 역동적인 피사체의 스냅샷 생성에 도움이 된다(라이브 비디오).

Frame Rate이 디스플레이에 표시되는 경우가 많은 아날로그 카메라와 달리 디지털 카메라에서는 Frame Rate을 조절할 수 있다. 시스템의 최대 Frame Rate은 센서 판독 속도, 배선을 포함한 인터페이스의 데이터 전송 속도, 픽셀 수(프레임 당 전송되는 데이터 양)에 좌우된다.

경우에 따라 Pixel Binning 또는 AOI(Area Of Interest) 제한을 통해 해상도를 줄임으로써 더 높은 Frame Rate에서 카메라를 작동할 수 있다. 이렇게 하면 프레임 당 데이터양이 감소해 고정된 전송 속도로 더 많은 프레임을 전송할 수 있다.

노출 시간은 Frame Rate에 반비례하므로 많은 카메라들이 노출하는 동안 판독할 수 있는 능력(Pipelining)을 갖고 있지만 Pixel 재설정 및 판독 과정으로 인해 노출 사이에 최소한의 한정된 시간이 존재한다(약 수백 마이크로초). 이 최소 시간은 대개 카메라 Datasheet에서 찾아볼 수 있다.

CMOS 카메라는 각각의 Pixel 판독 과정을 CCD 센서의 Shift Register에서 Charge Transfer를 통한 것보다 더 빨리 수행할 수 있어 더 높은 Frame Rate를 가질 수 있는 잠재력이 있다. 디지털 카메라의 경우 수십 초에서 몇 분까지 노출을 할 수 있지만 가장 긴 노출은 CMOS에 비해 Dark Currents와 Noise가 적은 CCD 카메라를 통해서만 가능하다. CMOS Imager 특유의 Noise는 유효 노출 시간을 수초 정도로 제한한다.

셔터 종류별 특징
몇년 전까지 CCD 카메라는 Electronic 또는 Global Shutter를 사용했으며, 모든 CMOS 카메라는 Rolling Shutter만 사용할 수 있었다. Global shutter는 Pixel이 전부 동시에 노출 및 샘플링되고, 판독이 순차적으로 이루어지며 Pixel에 대해 집광이 같이 시작되고 중지된다는 점에서 기계식 셔터와 비슷하다.

Rolling Shutter는 노출, 샘플링, 판독을 순차적으로 수행한다. 이는 각각의 이미지 라인이 약간 다른 시간에 샘플링됨을 의미하며 움직이는 피사체의 이미지는 Rolling Shutter에 의해 왜곡된다. 이 왜곡효과는 Lines Overlap을 결합할 때 적용되는 Triggered Strobe를 통해 최소화할 수 있다(저속에서는 이 문제가 발생하지 않는다).

CMOS용 Global Shutter 구현에는 표준 Rolling Shutter 모델에 비해 보다 복잡한 구성이 필요하며 별도의 트랜지스터와 Storage Capacitor를 추가해야 하는데 이로 인해 Pipelining(이전 프레임 판독 중에 다음 프레임 노출 시작)도 가능하게 된다. CMOS 센서의 Global Shutter 사용 가능성이 점차 증가하면서 CCD와 CMOS 카메라 모두 고속 동작 촬영 용도로 유용해지고 있다.

Global 및 Rolling Shutter와는 대조적으로 Asynchronous Shutter는 픽셀의 Triggered Exposure를 의미한다. 카메라가 이미지를 촬영할 준비는 돼 있지만 외부 Triggering Signal을 수신하기 전에는 픽셀을 활성화하지 않기 때문에 셔터 내부 Triggering으로 생각할 수 있는 일반적인 Constant Frame Rate와는 대조적이다.

여러 개의 센서 탭으로 고감도 디스플레이 구현
카메라 센서의 판독 속도를 늘리는 한 가지 방법은 센서에 여러 개의 탭을 사용하는 것이다. 이는 한 개의 Output Amplifier와 ADC를 사용해 모든 Pixel을 순차적으로 읽는 대신 Field를 분할해 여러 개의 출력으로 읽는 것을 의미한다. 이것은 보통 Field의 왼쪽과 오른쪽을 구분해 읽는 Dual Tap으로 간주된다. 이 방법은 Frame Rate를 효과적으로 배가시키고 소프트웨어를 통해 이미지를 쉽게 재구축할 수 있다. Sensor Tap 사이의 Gain이 같지 않거나 ADC가 흔히 그런 것처럼 약간 다른 성능을 갖고 있으면 재구성된 이미지가 일치하지 않게 된다.

수백만개 이상의 Pixel을 탑재한 대형 센서들은 그만큼 여러 개의 Sensor Tap을 사용한다. 대부분의 경우 이것은 Progressive Scan 방식 디지털 카메라에만 적용된다. 그렇지 않으면 디스플레이에 어려움이 따르고 Multiple Tap Sensor의 성능은 카메라 내부 하드웨어 구현에 크게 좌우된다.

적외선에 민감한 CMOS 센서
CCD와 CMOS 센서는 350~1050nm의 파장에 민감한데 이 파장 범위는 보통 400~1000nm 사이로 주어진다. 이 Sensitivity는 센서의 스펙트럼 응답 곡선에 의해 표시된다(그림 8). 대부분의 고품질 카메라는 VIS 스펙트럼에서의 이미징을 위해 적외선(IR) 차단 필터를 제공한다. 이 필터들은 NIR Imaging을 위해서는 제거할 수도 있다.
CMOS 센서는 보통 CCD 센서에 비해 IR 파장에 민감하다. 이는 Active Area Depth 증가로 인한 것이다. Photon의 투과 깊이는 그 주파수에 따라 달라지므로 주어진 Active Area 두께에 대해 깊이가 깊어질수록 보다 적은 수의 광전자가 생성되고 Quantum Efficiency가 감소한다.

Single Chip, Three-Chip 용도별 요구사항
컬러 CCD 카메라는 Single Chip과 Three-Chip 두 가지가 있다. Single Chip 컬러 CCD 카메라는 일반적인 저가 이미징 솔루션을 제공하며 Mosaic(예: Bayer) Optical Filter를 사용해 입사광을 일련의 색상들로 분리한다. 그런 뒤 각 색상별로 다른 Pixel이 전달된다(그림 9a).

모자이크 패턴의 정교한 레이아웃은 제조업체에 따라 달라진다. 컬러 인식을 위해 더 많은 Pixel이 필요하기 때문에 Single Chip 컬러 카메라는 흑백 카메라에 비해 해상도가 낮다. 이 문제의 범위는 제조업체별 Color Interpolation 알고리즘에 따라 달라진다.

Three-Chip 컬러 CCD 카메라는 프리즘을 이용해 입사 스펙트럼의 각 부분을 서로 다른 칩으로 전달해 이 해상도 문제를 해결하도록 고안됐다(그림 9b). 피사체의 각 지점이 구분된 RGB Intensity 값을 갖기 때문에 컬러 구분을 위해 알고리즘을 사용하는 것보다 더 정확한 컬러 재현이 가능한 것이다. Three-Chip 카메라는 높은 해상도를 제공하지만 Light Sensitivity가 낮고, 가격이 비쌀 수 있다.

일반적으로 센서 선택 시 색상 보정이 잘 구현돼 있어야 하고 변경된 Optical Path를 보정할 수 었는 조건을 갖춰야 한다. C-Mount의 경우 Rear Lens 돌출에 대비한 유격이 작은 특수 3CCD 렌즈가 필요하다. 결국 Single Chip을 선택할 것인지, 아니면 Three-Chip을 선택할 것인지는 용도에 따른 요구 사항에 의해 결정된다.

카메라 시스템의 가장 기본적인 요소는 센서다. 기술 유형 및 특징이 전체 이미지 품질을 크게 좌우하므로 카메라 센서 사양을 이해하는 방법을 알고 있으면 최상의 이미징 광학 부품 선택에 큰 도움이 될 것이다.

출처 | 에드몬드 옵틱스(www.edmundoptics.co.kr)