머신비전용 카메라 기초 알아보기
입력부터 처리까지 … 영상처리 기술들 한자리에
카메라의 선택은 머신비전 시스템 설계에 있어 가장 중요한 첫 번째 단계다. 현대의 머신비전 카메라는 완벽한 제어와 높은 셔터스피드, 감도, 그리고 조밀도 등을 제공한다. 이 글에서는 영국 FirstSight Vision의 콜린 그리어가 설명한 ‘CCD 카메라를 포함한 오늘날의 산업용 카메라 개념과 이를 통해 머신비전 디자이너가 얻을 수 있는 혜택’에 대해 소개한다.
자료제공 | Teledyne DALSA(www.teledynedalsa.com)
비디오카메라의 목적은 센서가 렌즈를 통해 영상을 받아들이고, 정보를 해석할 수 있는 시스템으로 전송 및 저장해 이를 분석하거나 표시하는 것이다. 카메라를 구비함으로써 모니터를 통해 영상을 출력할 수 있으며, 테이프나 CD와 같은 기록장치에 기록하거나 컴퓨터 등에 저장·분석·출력할 수 있다.
비디오카메라 기술은 최근 들어 과거에 비해 상당한 발전을 이루었다. 발전을 이끈 주역은 충전결합소자(CCD)의 발명이다. 약 20년 전까지만 해도 비디콘 튜브가 카메라 센서처럼 사용되었는데, 이는 카메라 크기가 상당히 큰데다 영상출력장치인 텔레비전의 디자이너에 의해 표준 영상 시간에 제한을 받음을 의미했다.
당시의 카메라가 산업 혹은 과학 분야에 적합하지 않은 이유는 여러 가지가 있었다. 대표적인 예로 크기와 견고성 등이 그렇다. 하지만 주된 원인은 제품과 카메라 화각이 일치하도록 카메라를 통제 및 재설정하는 작업이 자주 필요하며, 그 시간 또한 오래 걸린다는 점이었다. 반면 현대의 머신비전 카메라는 타이밍을 완벽하게 제어할 수 있으며 높은 셔터 속도와 고감도 및 여러 중요한 기능을 동시에 제공한다.
현대의 카메라는 그 크기가 점점 작아지고 있다. 또한 머신비전은 산업·과학 분야에서 활용사례를 점차 넓혀가며 접촉식 측정 시스템을 대체하고 완벽한 품질보증검사와 자동화를 위한 방법을 제공한다.
머신비전 카메라에는 두 가지 주요 유형이 존재한다. 에어리어스캔 카메라와 라인스캔 카메라가 그것이다. 이 기술들은 완전히 다른 기술이기에 서로 다른 각도에서 논의해야 한다. 하지만 기반 기술 및 사용할 수 있는 분야 등 공통적인 부분도 있다.
에어리어스캔 카메라
에어리어스캔이라는 용어는 특정 영역 혹은 구역을 촬영하는 카메라를 말한다. 일정한 라인을 촬영하는 라인스캔 카메라와 가장 큰 차이점이다. 에어리어스캔 카메라는 특정 영역 혹은 지역의 영상을 촬영하는데 보통 4:3 정도의 화면비율로 영상을 출력한다. 이 화면비율은 비디콘 튜브 및 방송용 사양에서 물려받은 수치로, 현존하는 에어리어스캔 카메라는 ‘표준 영상 포맷’에 부합하지 않는 정사각형 모양의 이미지센서를 탑재하고 있다.
현대 카메라의 이미지센서는 빛에 민감한 물질을 사용해 전하를 통해 빛을 광자로 변환하는 충전결합소자(CCD)로 만들어졌다. CCD 방식의 이미지센서는 수천 개의 감광다이오드가 매트릭스 어레이에 맞추어 정확하게 배열되어있으며, 시프트 레지스터가 각 픽셀의 전하를 영상 신호로 변환해 여타 장치로 전송한다.
CCD와 센서 기술
CCD의 크기는 일반적으로 야드파운드법을 따른다. 하지만 이 단위는 센서의 물리적 크기와는 관련이 없다. 비디콘 튜브 시절에 개발되어 현재에도 사용 중인 유산일 뿐이다. 일반적인 포맷 사이즈로는 1/3·1/2·2/3인치 등이 있다.
센서의 특성과 더불어 중요한 것이 픽셀의 위치(포지셔닝)다. 이는 일반적으로 CCD 유형에 의해 정의된다. CCD의 주요 매개변수는 ▲충전율 ▲전하량 ▲셔터 스피드 ▲픽셀 크기 등이 있다.
충전율(Fill Factor)은 충전 영역의 퍼센티지를 의미한다. 빛에 민감하다는 특징이 있다. 이상적인 경우는 능동 픽셀(Active Pixels)이 센서 면적을 전부 차지하는 경우로, 이 경우를 100%라고 상정한다.
하지만 판독 레지스터나 번짐 방지(Anti-Blooming) 등의 회로가 충전율을 감소시켜 때로는 30% 이하의 낮은 충전율을 기록하기도 한다. 이는 낮은 민감도와 앨리어싱 효과를 일으키는 주범이다. 이 현상을 극복하기 위해 많은 낮은 충전율을 가지고 있는 센서들이(일반적으로 인터라인 전송 CCD가 그렇다) 각 픽셀의 충전율을 높이기 위해 아주 작은 렌즈를 사용한다.
CCD 픽셀이 가지고 있는 또 다른 중요한 매개변수가 바로 전하량(Well Capacity)이다. 한 픽셀 당 담을 수 있는 전하의 숫자를 의미하며, 센서의 다이내믹레인지를 결정하는 요인이기도 하다. 일반적으로 픽셀 및 충전율이 높을 때 센서가 더욱 민감해지며 전하량 역시 높아진다.
CCD에도 여러 종류가 있다. 이들의 차이점은 CCD 픽셀을 충전 및 전송하는 방식에 있다. 인터라인 트랜스퍼(ILT) CCD가 가장 일반적인 방식이다. 이 방식은 시프트 레지스터를 사용하는데, 영상을 저장하고 전송하는 각 활성 픽셀 사이에 광차폐를 형성한 것이 특징이다. 이 유형의 가장 큰 장점은 빠른 셔터링이다. 하지만 다른 종류와 비교해보면 단점 역시 존재한다. 이 CCD는 충전율이 낮고 전하량 역시 적어 다이내믹레인지가 줄어들어 영상 품질에 손상을 입힐 수 있다.
영상 표준과 인터레이싱
카메라와 TV 모니터, 프레임그래버, VCR 등 서로 다른 장치 사이에 영상 신호를 전송하기 위해 다양한 표준이 나와 있다. 각 표준들은 각 기기가 상호작용할 수 있는 방법을 제공하며, 영상 신호의 타이밍이나 영상 안에 들어있는 픽셀의 내용이나 숫자 등을 정의한다. 현재 여러 위원회들이 수 년에 걸쳐 비디콘 및 방송용 시절을 뛰어넘을 표준을 만들어내고 있으며, 주로 영상 표준이라는 말로 불린다.
유럽에서 가장 일반적인 표준은 CCIR(국제 무선통신 자문 위원회)과 PAL 방식이다. 북미에서는 RS-170(EIA)과 NTSC 방식이 표준으로 쓰이고 있다. CCIR과 RS-170은 흑백 및 단색 영상을 재생하는 데 쓰이는 표준이며 PAL 및 NTSC는 컬러 영상에 쓰이는 표준이다.
프레임 트랜스퍼 CCD
프레임 트랜스퍼 방식의 CCD는 액티브 픽셀 영역 안에 별도의 전용 조명 저장(Light Storage) 영역을 가지고 있다. 따라서 더 큰 충전율을 달성함으로써 각 라인 사이에 시프트 레지스터가 없으며 더 높은 전하량으로 인해 픽셀이 주어진 센서 크기보다 더 커진다. 반면 셔터스피드가 빠르지 않으며 제조에 필요한 다이 사이즈가 커지기 때문에 비용 또한 증가한다는 단점이 있다.
비월주사 방식은 수 년 전에 만들어진 TV 방송에 필요한 표준 중 하나다. 주요 신호 대역폭 내에서 움직임의 착시 현상을 제거하기 위해 개발되었다.
CCIR 및 PAL은 영상을 초당 25프레임 속도로 획득한다. 이때 비월주사 영상이 두 개의 수평 필드로 전환되는데, Odd Field(Odd Horizontal Video Lines)와 Even Field(Even Horizontal Video Lines)가 그것이다.
비월주사는 이 수평 필드를 순차적으로 스캔하는 방식을 말하며, 처음에 Odd Field를, 이후 Even Field를 스캔한다. 이 방식이 초당 25프레임 속도로 영상을 처리하기 위해서는 스캔 작업을 초당 50장씩 수행해야 한다.
현존하는 대부분의 모니터가 비월주사 방식을 채택하고 있다. 또한 인간의 눈에 비 비월주사 방식보다 더욱 매끄럽게 보이도록 하기 위해 초당 50회의 파셜 업데이트(정보제공 시 화면상에 제시되는 텍스트, 그래픽, 실물 영상 등을 수정하는 것. 출처 매스컴대사전)를 수행한다.
머신비전을 활용하는 대부분의 작업은 객체가 빠르게 움직인다. 머신비전에 비월주사 방식의 카메라를 사용할 경우, 객체가 영상을 획득하는 두 영역 사이에서 이동하게 될 때가 있다. 이렇게 되면 이중 노출처럼 보이는 블러 현상이나 영상의 수직 방향 모서리에 빗 현상(comb effect)을 일으키는 등의 문제가 생긴다. 뿐만 아니라 빠른 속도로 움직이는 물체를 높은 수직 해상도로 촬영하고자 할 경우 프로그래시브 스캔 카메라가 필요하다.
이 문제를 해결하기 위해서는 비월주사 카메라가 한 필드만을 판독하도록 설정해야 한다. 이는 수직 해상도가 반으로 떨어지는 단점이 있지만, 프레임을 획득하는 속도는 두 배로 늘어난다. CCIR 및 PAL 방식에서 50프레임을 달성하는 것. 필드 모드 혹은 비 비월주사 방식으로 불리는 이 방법은 많은 머신비전 애플리케이션에 유용하게 쓰인다. 필드 모드는 수직 비닝 기능을 활용해 감도가 두 배 증가한다.
비닝(Binning)이란 CCD 센서의 판독 방법 중 하나이며, 두 개 혹은 그 이상의 픽셀을 함께 클럭한다. 각 픽셀을 통해 축적한 전압은 해상도가 감소하는 반면 감도와 신호대비 잡음비가 증가하는 특징을 가지고 있다.
영상의 비월주사 방식에 대해 비표준적 시간 혹은 여타 전압에 대한 규정은 현재까지 존재하지 않고 있다. 하지만 표준으로부터 여러 변화(Variation)가 즉각적으로 분리되어 나타났다. 보다 복잡한 처리를 필요로 하는 비표준 영상이 등장한 것.
비표준 영상
비표준 영상은 다음과 같은 특성 중 일부 혹은 전부를 가지고 있다.
① 비표준적인 타이밍
표준 영상 타이밍을 준수하지 않는 영상 신호(마지막 섹션에서 다시 설명한다)는 기존의 프레임그래버 혹은 표준 디코더로 처리할 수 없다. 주로 일반적인 프레임률보다 적거나 많은 프레임을 출력하거나(더블스피드 카메라 혹은 메가픽셀 카메라가 이에 해당한다) 복잡한 트리거링 혹은 가변적인 설정을 소화하는 카메라가 그렇다.
② 비표준적인 혹은 메가픽셀의 해상도
현재 출시되는 카메라는 센서 안에 더 많은 픽셀을 담고 있어 영상 해상도 역시 높아지고 있다. CCIR 표준은 768×576 해상도를 기준으로 제시하고 있지만 현재 출시되고 있는 메가픽셀 카메라는 1024×768이나 1300×1030 혹은 그 이상의 해상도를 달성하며 표준 범위를 초과하고 있다. 이를 통해 표준이 제시하는 해상도보다 더 큰 화각을 달성한다.
③ 프로그래시브 스캔 출력
프로그래시브 스캔이란 여러 필드에서 동시에 영상을 받아들임으로써 한 필드당 절반의 해상도만을 획득하지 않고, 한 필드 안에서 전체 영상을 한꺼번에 획득하는 방식을 의미한다. 이 방법은 비 비월주사 영상의 전체 수직 해상도가 높으므로 빠르게 움직이는 객체를 촬영하기에 적합하다.
현존하는 대부분의 CCD 센서가 감시 및 텔레비전 형식의 응용프로그램에 적합한 비월주사 방식으로 만들어지고 있다. 따라서 프로그래시브스캔 카메라는 비월주사 방식 카메라보다 가격은 비쌀지 몰라도 머신비전 분야에 더 알맞은 방식이다.
하지만 프로그래시브 스캔방식 카메라를 사용하더라도 빠르게 움직이는 객체가 흐리게 찍힐 경우가 있다. 촬영된 영상이 축적되는 일정 시간(이를 노출 시간이라고도 한다)동안 객체가 이동하는 경우 이런 현상이 발생한다. 이러한 ‘블러’ 현상을 감소하기 위해 셔터 기능을 활용함으로써 노출 시간을 줄일 수 있다. 35㎜ 필름 카메라는 기계적으로, CCD 카메라는 전기적으로 이 기능을 수행한다.
셔터스피드가 증가함에 따라 노출시간이 줄어들며 객체는 블러 현상 없이 ‘얼어붙게’ 된다. 하지만 머신비전 애플리케이션에 이 기능을 활용하면 센서에 도달하는 빛이 줄어들어 적은 노출시간으로 인해 카메라의 민감도가 떨어진다. 빠른 속도로 셔터를 닫기 위해서는 광량 역시 높아야 하며, F숫자가 낮으며 속도가 빠른 렌즈의 도움이 필요하다.
집적화
카메라를 가지고 집적화를 논하기 위해서는 엄청난 시간이 걸린다. 픽셀이 빛을 축적하고 있음을 인지해야 하기 때문이다. 이는 셔터링(폐쇄)과는 정반대의 의미로, 어두운 환경에서 카메라 감도를 높이기 위해 주로 사용한다. 또한 객체가 집적화하는 시간동안 움직이거나 변화하지 않아야 한다는 전제조건이 붙는다.
장기간의 집적화(Long Term Integration)란 픽셀이 하나의 필드 타임(Field Time) 이상 동안 노출되어 가능한 한 많은 빛을 축적하는 것이다. 작업에 필요한 시간은 센서의 열잡음에 의해 제한을 받지만, 몇몇 다양한 카메라로 인해 냉각 기능을 높임으로써 이 문제를 극복할 수 있다. 많은 머신비전 카메라가 LTI를 지원하는 표준 기능을 탑재하고 있다.
비동기식 캡처
영상을 획득할 때 대부분의 머신비전이 주의해야 할 사항이 있다. 첫째로 카메라의 화각 안에서 객체가 이동해야 하며, 둘째로 정확한 시간에 영상을 획득해야 한다는 것이다. 단순하고 지루한 이 명제는 사실 영상 획득에 있어 가장 중요하다.
비동기식 캡처는 정확한 시간 안에 영상을 획득할 수 있게 하는 기능이다. 이 개념은 객체가 카메라의 화각 정중앙에 도착하는 순간 촬영 작업을 재개하도록 설정함으로써 정확한 촬영을 실현한다. 하지만 비동기식 캡처는 영상을 획득하는 방법이 상대적으로 복잡하며, 이를 실현하기 위해서는 몇몇 기술에 대해 더 많은 논의가 필요하다.
프레임그래버 트리거링
CCIR 타이밍 영상 표준은 초당 25프레임의 영상을 지속적으로 연결하며, 영상과 영상 사이에 40㎳의 고정 지연을 만들도록 정의하고 있다. 프레임그래버가 트리거를 수신하면 이를 저장하거나 다음 프레임을 캡처하는 등의 동작을 수행한다.
이 작업에는 최대 40ms의 임의적 지연이 발생하며, 카메라의 화각 안에서 빠른 속도로 이동하는 객체를 비동기화할 수는 없다. 빠르게 움직이는 사례에서는 객체가 40㎳ 속도로 크게 이동하며, 따라서 촬영한 영상을 통해 객체의 실제 위치를 예측하기란 불가능하다.
머신비전 카메라는 비동기 방식으로 트리거 신호를 재설정할 수 있다(일반적으로 광학적 혹은 자기적 방식을 사용해 객체의 위치를 찾는다). 카메라를 리셋하는 방법에는 두 가지가 있다. 라인 동기화와 픽셀 동기화가 그것이다.
라인 동기화 리셋의 경우, 카메라가 HD펄스(Horizen Drive Pulse) 이후에 작업을 수행한다. 이 방식은 즉각적으로 일어나지는 않지만, 다양한 응용프로그램에 사용하기에 충분할 정도로 짧다. 픽셀 동기화는 픽셀 클럭 펄스(Pixel Clock Pulse) 직후에 일어나며, 따라서 가장 정확하다.
동기화
프레임그래버가 표준 비디오의 영상 입력을 중단하면 영상의 타이밍 펄스를 동기화하기 위해 몇 프레임을 소요한다. 이후 재설정 작업을 마친 카메라와 다시 연결하면 동기화할 이전 타이밍 펄스는 이미 존재하지 않는다. 따라서 입력되는 영상을 처리할 수 있도록 프레임그래버를 별도의 타이밍 신호로 구동해야 한다.
저가형 프레임그래버는 이 신호를 수용할 수 없으며 가변 검사가 가능한 프레임그래버를 사용해야 한다. 가변 검사를 실현하기 위해서는 다음과 같은 타이밍 신호가 필요하다.
HD-수평 운영 타이밍
VD-수직 운영 타이밍(WEN-기록할 수 있는 펄스 타이밍)
픽셀 클럭(선택사항)-CCD에서 시프트 레지스터를 운영할 수 있는 고속 클럭
카메라가 비동기 방식으로 재설정되면 모든 동기화 신호·HD·VD(혹은 WEN) 또한 모두 리셋된다(단, 픽셀 클럭은 예외). 가변 검사를 수행할 수 있는 프레임그래버는 카메라의 타이밍 신호를 통해 구동할 수 있다. 픽셀 클럭은 프레임그래버로 ADC를 구동하는 데에 쓰이며, 이를 통해 HD·VD(혹은 WEN)을 통해 시작 프레임과 수평 타이밍을 제어할 수 있다. 이외에도 비동기 재설정 처리를 위한 다른 방법이 존재하지만, 위에 설명한 방법이 가장 간단하고 우아한 방법이다.
아날로그 혹은 디지털 출력
지금까지 비디오카메라 기술은 비디콘 튜브로 입력하던 시절부터 줄곧 아날로그 방식으로만 이루어져왔다. 아날로그 영상 신호는 모니터·비디오 레코더·아날로그 프레임그래버 등에 영상 신호를 직접 연결할 때 적합하다.
CCD 센서 역시 아날로그 장치다. 1세대 CCD카메라는 이전 아날로그 출력을 지원하던 기종과의 하위 호환성을 염두에 두고 만들어졌다. 반면 현대의 카메라는 디지털 혹은 아날로그 출력 방식이 혼용되고 있다. 카메라가 ADC 및 관련 회로를 포함하고 있는지에 따라 디지털·아날로그 여부가 갈린다.
아날로그 카메라의 경우 타이밍 및 동기화 신호와 혼합된 아날로그 영상 신호가 출력된다. 아날로그 카메라가 출력하는 영상 신호는 케이블로 인한 아날로그 노이즈와 대역폭의 제한을 받는다. 또한 카메라와 프레임그래버의 ADC 사이에 일어나는 타이밍 오류로 인해 영상 정확도가 떨어질 위험이 있다.
디지털카메라 역시 아날로그 모델과 동일한 CCD 기술을 사용한다. ADC 역시 카메라 안에 내장되어있어 직접 영상을 디지털화한 뒤 다양한 형태의 디지털 신호를 출력한다. 이 디지털화 기술은 매우 높은 영상 정확도를 실현하며 아날로그 카메라
의 단점을 대부분 극복했다. 하지만 케이블이 더욱 복잡하고 비용이 비싸다는 단점이 있다.
아날로그 영상 신호는 모든 타이밍 신호와 픽셀 정보를 한 개의 선에 담고 있어 단순하고 저렴한 케이블로도 영상 전송이 가능했다. 영상이 가변 검사 기능을 담고 있거나 필요로 한다면 케이블에 몇 가지 코어를 더 추가해야 하므로 케이블 형태가 복잡해진다.
하지만 이는 상대적으로 간단한 편이다. 비표준 저속 메가픽셀 출력 혹은 표준 고속 출력을 달성하는 몇몇 아날로그 카메라는 대역폭에 제한이 있어 더욱 복잡해진다. 또한 다이내믹레인지에도 한계가 있기 때문에 일반적으로 8비트 프레임그래버에 연결할 수밖에 없다.
