Area scan 카메라의 한계를 극복한 Line scan 카메라 애플리케이션의 이해

Line scan 카메라는 대형 개체를 이미지화 하고, 고해상도 및 고속에서 완벽한 이미지가 필요하거나 픽셀 반응을 실시간으로 보정하는 작업이 필요한 애플리케이션에서 사용된다.

Line scan 카메라는 플라스틱 또는 종이 제조에서의 웹 소재 검사, 도로와 철도 검사와 같이 연속적인 ‘개체’ 검사, 인쇄 검사와 같이 고품질 이미지 검사가 필요한 애플리케이션에 적합하다. Line scan 기술을 구현할 때 개체의 움직임과 카메라 수집을 동기화 하도록 충분히 주의를 기울이지 않으면 안 된다. 시작비용은 Area scan 카메라보다 더 많을 수 있지만, Line scan 기술은 Area scan 카메라가 쉽게 해결할 수 없거나 전혀 해결할 수 없는 문제를 해결할 수 있다.
Line scan 카메라는 단 1개의 라인만으로 개체 전부를 이미지화 한다. 개체를 2차원 이미지로 구축하려면 카메라 또는 개체가 픽셀 라인의 세로 방향으로 이동해야 한다. 이것은 2차원 이미지를 촬영하는 Area scan 카메라와 비교하여 개체를 이미지화하기에 복잡한 방법처럼 보일 수 있다. 그러나 개체가 큰 경우, 연속적으로 이동하거나, 완벽한 작업이 필요하거나, 고해상도 이미징을 해야만 하는 경우, Line scan 카메라는 Area scan 카메라보다 훨씬 좋은 선택이 될 수 있다.

Line scan 카메라의 장점

고해상도 이미지나 대형개체를 완벽하게 이미지화 할 수 있는 능력을 가진 Line scan 카메라의 장점에 대해 살펴본다.

시간이 많이 드는 Area scan 카메라
머신 비전 시스템이 종이 또는 플라스틱과 같은 소재의 긴 롤에서 결함을 검사한다고 가정해보자. 여기에서 결함을 검출하려면 총 16,000픽셀 해상도가 필요하고, 이 소재는 카메라 밑에서 풀리고, 소재의 속도는 롤을 푸는 메커니즘에 연결된 로터리 인코더로 측정된다고 가정해 보겠다.

소재의 웹을 가로질러 4개의 Area scan 카메라를 나란히 장착하여 사용할 수 있지만, 이렇게 사용하면 단점이 더 많다.
먼저, 대형 Area scan 카메라는 일반적으로 이웃 픽셀에서의 픽셀 값을 채워 숨겨진 결함 픽셀을 찾는다. 이 방법은 감지하려고 하는 결함을 숨길 수 있다.
그 다음, 개체의 움직임으로 인한 치우침을 방지하기 위해 Area scan 카메라의 노출 시간은 매우 짧아야 한다. 짧은 노출에서도 허용되는 이미지를 얻으려면 이미지화 되는 영역 전체에 고강도 조명이 필요하다. 로터리 인코더의 출력이 모든 카메라의 이미지 획득과 동기화해야 한다.
마지막으로, 낮은 콘트라스트의 결함을 감지하는 데 필요한 픽셀 반응의 오프셋과 게인 변동을 제거해야 하기 때문에 Area scan 카메라로는 검사하는 데 많은 시간이 소비된다.

단 1개의 라인사용으로 효율적인 Line scan 카메라
단 1개의 라인을 사용하는 16,000픽셀의 Line scan 카메라가 훨씬 더 나은 솔루션이다. 이제 소재에 걸쳐 단 하나의 카메라만 설치되고 어떠한 결함 픽셀도 없다. 로터리 인코더 출력은 이미지 각 라인의 획득과 동기화하여 실행하도록 한다. 라인 노출 시간은 모션 블러(Motion blur)를 피하고자 짧아야 하지만, 허용 이미지를 얻기 위해 프레임 전체를 조명하지 않고 라인에만 조명할 수 있다. TDI(Time Delay and Integration) Line scan 카메라를 사용하면 소재의 이동 또는 카메라의 이동과 동기화된 노출을 통합한 픽셀 행을 가지므로 픽셀 행의 수와 노출 시간을 곱한 값을 효율적으로 사용할 수 있다. 마지막으로 각 픽셀의 게인 및 오프셋은 픽셀 라인에 걸쳐 균일한 응답을 제공하도록 조정할 수 있고, 이러한 조정은 Line scan 카메라의 하드웨어에서 수행된다.

Line scan 기술을 사용하려는 경우
Line scan 기술은 종이, 섬유, 금속, 유리 테이프 등과 같은 연속 웹 검사 애플리케이션과 같이 대형, 고해상도, 고속 이미지 캡처가 필요한 애플리케이션에 적합하다. 예를 들어, 철도 및 도로 검사, 위성 이미징, 표면 지형 스캔 등에 사용할 수 있다. Line scan 기술은 용융 유리, 철강, 우편 분류 등을 포함하는 자유 낙하 제품과도 잘 사용할 수 있다. 대형으로 결함 없는 이미지가 있어야 하는 실리콘 웨이퍼, FPD, 태양 전지, PCB, 의료 진단, 기타 작업 등의 검사 작업에서도 Line scan 기술이 필요하다.

제품의 속도가 빠를 경우
카메라가 수집하는 광자(Photon)을 더 많이 얻을 수 있는 집중 조명과 TDI 기술을 사용하여 짧은 노출 시간을 보상할 수 있기 때문에 제품의 속도가 빠를 때 Line scan 카메라는 Area scan 카메라보다 더 나을 수 있다.
Area scan 카메라는 비전 시스템의 CPU를 사용하여 게인 및 오프셋 보정을 수행하기 때문에 너무 느릴 수 있지만, Line scan 카메라는 카메라 내에서 게인 및 오프셋 보정을 수행하므로 빠르다.

Line scan 이미지가 형성되는 방법
Line scan 이미지 센서는 1개 이상의 픽셀 라인을 가진다. 카메라의 노출 시간 동안 이미지에 비춰지는 개체의 빛에 비례하는 광전자 전하를 각 픽셀이 축적한다. 노출 시간이 종료되면 전체 픽셀 행의 전하는 판독 레지스터로 전송된다. 판독 레지스터는 픽셀 전하를 이동시킨 다음 이들을 증폭시키고 보정하여 디지털화 되어 카메라가 출력한다. 다음 픽셀 행이 노출되는 동안 판독 레지스터는 픽셀 전하를 이동시킨다. 노출과 판독을 할 수 있는 최대 속도를 ‘Line rate’라고 하며, kHz(킬로헤르츠) 단위를 사용한다.
빠르게 움직이는 개체의 움직임을 촬영하려면 고속 Line rate가 필요하다.
[Teledyne DALSA에서 제공하는 Line scan 카메라는 최대 200kHz의 Line rate, 이미지화 되는 픽셀 라인당 5μs의 속도를 사용할 수 있다. 판독 속도를 향상하기 위해 여러 개의 ‘탭(판독 레지스터를 따르는 판독 지점)’을 사용한다.]
Line scan 획득 인터페이스

픽셀 데이터는 카메라에서 비전 프로세서 또는 프레임 그래버로 프로세싱을 위해 전송된다. Teledyne DALSA는 3개 유형의 데이터 전송 인터페이스로 카메라를 제공한다.
Gigabit Ethernet(GigE)은 초당 약 80메가바이트의 데이터 속도(MB/s)를 사용할 수 있다. 표준 GigE 인터페이스는 비전 프로세서에서 카메라 데이터를 수신한다. 이 인터페이스는 Teledyne DALSA의 GEVA(GigE Vision Appliance) 비전 프로세서에서 사용된다.
CameraLink 인터페이스는 데이터를 수신하기 위해 프레임 그래버를 사용하고 3개의 형식 중 하나를 사용할 수 있다. Base형식은 1개의 케이블을 사용하여 255MB/s의 속도로 전송한다. Mediμm형식은 510MB/s이고 Full형식은 680MB/s이다.(케이블 2개 사용)
Teledyne DALSA가 개발한 HSLink 인터페이스는 6000MB/s의 속도로 전송하고 데이터를 수신하려면 프레임 그래버가 있어야 한다. 예를 들어, Piranha3 16k(16,384픽셀 라인) 카메라는 72kHz의 Line rate로 이미지를 획득하기 위해 HSLink를 사용한다. 초당 약 1,179,000,000픽셀을 획득할 수 있다.
(※Teledyne DALSA의 Line scan 획득 인터페이스 참조)
프레임으로 축적되는 픽셀값의 전송 라인
프레임 그래버 또는 비전 프로세서에서 픽셀 값의 전송 라인은 프레임으로 축적된다. Line scan 이미지 센서의 너비(X 축) 및 사용자가 지정한 높이의 이미지는 일반적으로 4,000 라인보다 작다. 프레임은 결함 감지와 텍스트 판독(OCR)과 같은 머신 비전 작업을 수행하기 위해 프로세싱 된다. 연속되는 프레임은 비전 프로세서에서 중첩(Overlap)된다. 예를 들면, 하나의 프레임의 상단 가장자리와 다음 프레임의 하단 가장자리에 걸쳐있는 스폿 결함을 검출할 수 있다.

TDI(Time Delay and Integration)

TDI(Time Delay and Integration) Line scan 카메라는 2~256개의 픽셀행이 수직으로 배열되어 있다. 각 행의 각 픽셀에서의 광전자는 개체의 움직임 방향으로 아래픽셀의 행으로 합산된다. 합산은 축적된 광전자 전하의 이동으로 수행된다.

이동 및 합산은 일반적으로 모션 인코더의 펄스로 신호화되는 개체의 움직임 속도와 같은 속도로 구동된다. TDI 카메라는 픽셀행의 개수로 노출시간을 효율적으로 곱하기 때문에 노출시간이 짧은 경우에도 높은 콘트라스트의 이미지를 제공할 수 있다. 이를 바라보는 또 다른 방법은 픽셀라인이 이미지화될 개체의 움직임과 동기화되어 전기적으로 이동하여 개체의 움직임으로 인해 발생하는 블러(blur)현상 없이 노출 시간이 증가한다는 것이다.
카메라의 노출시간은 Line rate의 역수보다 작아야 한다는 것을 제외하고는 Line rate와 독립적이다

컬러 Line scan 카메라

컬러 line scan 카메라는 다양한 파장의 빛을 감지하기 위해 행 방향픽셀에 다양한 컬러 필터를 가지거나 다양한 컬러 필터를 가진 센서 픽셀 행을 가진다. 일반적으로 필터는 적색, 녹색, 청색 등 우리가 인식하는 RGB이지만, 원격 위성탐사와 같은 일부 애플리케이션은 다른 필터 유형을 사용한다.

컬러 Line scan 카메라는 인쇄물 이미징에 특히 유용하다. 이 작업을 위해 라인당 1개의 필터 유형을 가진 ‘Trilinear’ 카메라를 사용하면 각각의 이미지픽셀은 RGB 측정의 전체 집합을 가질 수 있다. 컬러 센서픽셀의 다양한 라인은 시간 지연되기 때문에 이미지화되는 개체와 같은 부분으로 모두 보인다.
컬러 Line scan 카메라를 위한 렌즈는 상당한 색수차를 없애기 위해 컬러 보정되어야 한다. 렌즈가 같은 초점 평면상에 서로 다른 파장의 빛에 초점을 맞추지 못할 때 색수차가 발생하고, 세기의 가장자리 주변에 색 줄무늬로 나타난다.
개체 표면과 수직인 방향으로 카메라가 일반적인 각도로 개체를 바라보면 일부 원근 왜곡이 있을 수 있다. 원근 왜곡은 개체에 1/거리로 비례하기 때문에 픽셀의 서로 다른 컬러 행에 대해 약간씩 다르다. 따라서 픽셀 각 행은 약간씩 다른 크기를 가지고 개체 표면에 투영되는 픽셀의 모양이 되기 때문에 높은 정밀도의 컬러 측정에서 오류가 발생할 수 있다. 개체 표면에 카메라가 수직인지 확인해야 한다. 컬러를 사용하지 않을 경우에도 마찬가지이다.

Line scan 카메라용 조명

개체를 보기 위해 조명이 필요하다. 조명과 렌즈는 개체의 특징을 향상할 수 있는 ‘광학 프로세서’의 역할을 한다. Line scan 카메라는 보고 있는 개체 픽셀의 라인을 따라 개체를 조명하기 위해 LED 라인에서 조명을 집중하는 ‘라인 조명’을 일반적으로 사용한다. 라인 조명은 짧은 노출시간(빠른 카메라의 Line rate)에 필요한 높은 세기의 조명을 제공한다. 라인 조명은 넓은 개체를 보기 위해 매우 긴 조명을 사용할 수 있도록 함께 부딪힌다.

조명의 위치조정과 세기
라인 조명은 후면 조명을 제공하기 위해 개체의 뒤에 위치하거나, 개체를 내려다볼 수 있도록 개체 위의 높은 각도로 위치한다.
후면 조명은 예를 들어 투명한 소재의 입자 결함 또는 불투명한 소재의 핀홀 결함 등을 검출하기 위해 사용된다. 높은 각도의 조명은 예를 들어 개체 색상 또는 윤곽선을 얻거나 표면 결함을 검출하기 위해 사용된다.
조명 세기는 사용되는 LED, 빛을 통해 흐르는 전력, 램프의 수명 및 품질, 렌즈의 효율 등에 따라 달라진다. 이러한 변수들은 안전하게 적당한 양의 빛을 지정하기가 어려우므로 종종 필요로 하는 것보다 더 많은 조명세기를 지정한다.

애플리케이션에 적합한 Line scan 카메라를
선택하는 방법

Line scan 카메라를 선택할 때 감도, (센서픽셀 당)크기, Line rate 등 3개의 중요 고려 사항이 있다.

감도
감도는 머신 비전 작업을 수행하기 위해 충분한 광자를 카메라가 얻을 수 있는지 여부를 나타내는 것을 말한다. 너무 많은 변수가 있기 때문에 구성 요소 사양으로만 이 질문에 대답하는 것은 어렵다. 실제로, 필요한 빛의 세기를 추정하고 예상보다 더 많은 빛의 세기를 지정한 다음 테스트하여 필요한 감도를 가졌는지 확인한다. 일부 변수들은 다음과 같다.
첫째, 언급한 바와 같이, 먼저 빛의 세기는 다양한 변수들에 의존한다.
둘째, 렌즈는 카메라로 들어가는 빛을 줄일 수 있다. 고배율 렌즈를 사용하거나 더 많은 DOF(Depth Of Field)를 얻기 위해 렌즈를 더 많이 조이면 더 감소할 수 있다.
셋째, ‘감도’는 광전자로 광자를 변환하는 기능인 카메라의 Responsivity에 따라 달라진다. 감도를 증가하기 위해 센서픽셀이 더 큰 카메라를 선택할 수 있다. Line scan 카메라는 100% ‘Fill factor(광자를 축적하는 센서픽셀의 비율)’를 가진다. Area scan 카메라는 일반적으로 더 작은 픽셀과 더 적은 Fill factor를 가지고 긴 노출시간을 요구하여 Responsivity의 손실을 만회한다.
마지막으로 개체와 함께 카메라의 센서 라인을 전자적으로 이동하여 노출시간을 증가시키는 TDI Line scan 카메라를 사용할 수 있다.

크기(센서 픽셀 당)
카메라의 센서 픽셀 크기를 결정하려면 먼저 FOV(Field Of View)와 결함크기를 지정해야 한다. 카메라는 최소 결함크기를 최소 3개 또는 4개 픽셀로 커버할 수 있는 충분한 해상도를 가져야 한다. 예를 들어, FOV가 12″이고 최소 결함 크기가 0.005″이면,

(FOV/최소 결함)×(3픽셀 커버 범위)
(12/0.005)×3 = 7200픽셀

8K(8,192픽셀) Line scan 카메라를 사용하거나, 가로 FOV를 일부 오버랩하여 2개의 4K(4096픽셀) Line scan 카메라를 나란히 사용할 수 있다.

Line Rate
Line rate는 FOV, 가공 속도, 개체 픽셀크기 등에 의해 설정된다.
예를 들어, FOV가 12″, 가공 속도가 초당 60″이고, 8K(8,192 센서픽셀) 카메라를 사용한다면,

(FOV에서의 개체 픽셀크기) = FOV/(센서 픽셀에서의 카메라 크기) = 12/8192 = 0.001465″ FOV에서의 개체 픽셀크기
필요한 Line rate: 60″/0.001465″ = 40.956kHz
(Teledyne DALSA의 Piranha4 70kHz 카메라 사용)

Line scan 카메라용 렌즈

렌즈는 감도를 향상하기 위해 개체로부터 빛을 수집하고 카메라의 라인 센서 크기와 일치하도록 FOV를 확대(또는 축소)한다.
다음과 같이 배율을 계산할 수 있다.
배율 = [카메라의 픽셀 크기(미크론 단위)]/(FOV 개체 픽셀 크기)
[Teledyne DALSA의 Piranha4 70kHz 카메라 사용]

배율 = (7.04미크론) / (37.211 = 0.001465인치를 미크론으로 변환) = 0.189

따라서, 실제 FOV에서 카메라의 라인 센서로 축소되는 크기는 1/0.188 = 5.286이다.
이 비율 (예제에서의 5.286)이 ‘역배율’이 된다.
다음으로, 카메라의 면판(전면, 카메라의 평평한 표면)부터 이미지화될 개체(예: 웹 소재)까지의 ‘동작 거리(Working distance)’를 지정해야 한다. 이것으로부터 필요한 렌즈의 초점 거리를 얻을 수 있다.

초점 거리 = (동작 거리) / (역 배율+1)

이 예제에서는 렌즈의 표준 초점 거리인 50mm를 제공하도록 314.28mm=12.37인치의 동작 거리가 선택되었다. 동작 거리는 일반적으로 표준 렌즈의 초점 거리와 일치되도록 조정된다.
초점 거리 외에도, 렌즈의 마운트 유형을 알아야만 한다. 최대 2,048픽셀의 작은 Line scan 카메라는 1″조리개의 C마운트 렌즈를 사용할 수 있다. 더 긴 Line scan 카메라는 F, M42, M72 등의 마운트 렌즈가 필요하다.
Line scan 카메라 동기화

Line scan 카메라의 노출은 개체의 움직임과 동기화해야 한다. 일반적으로 개체 움직임의 각 지정된 시간 동안 펄스를 출력하는 인코더와 함께 이루어진다. 몇 개의 인코더 펄스가 발생하면 Line scan 카메라는 라인 이미지를 촬영하기 위해 실행된다.

동기화에 필요한 ‘정사각형 픽셀’
일반적으로, FOV의 너비와 높이가 같은 픽셀인 ‘정사각형 픽셀’을 원한다. 정사각형 픽셀을 얻으려면 개체의 픽셀 크기와 개체가 같이 이동하도록 카메라가 실행되어야 한다. 위의 예제에서는 FOV에서의 픽셀크기가 0.001465인치이기 때문에 정사각형픽셀을 얻으려면 카메라는 개체가 이 거리를 이동할 때마다 촬영하도록 설정해야 한다.

‘정사각형 픽셀’ 수집 과정 예시
라인 수집 트리거 거리를 설정하려면 (1)거리 또는 회전당 인코더의 펄스를 선택하거나 프로그래밍하고, (2)인코더와 개체 이동사이의 기계적인 비율을 선택한 다음, (3)카메라 라인 수집 사이의 인코더 펄스 수를 프로그래밍 해야 한다.

예시를 통한 거리계산
위의 예제를 사용하여 개체가 컨베이어 벨트에 있고, 컨베이어 롤러에 로터리 인코더가 연결되어 있다고 가정한다. 정사각형 픽셀의 경우, 컨베이어 벨트가 0.001456인치가 이동할 때마다 카메라 트리거 펄스가 발생해야 한다. 개체의 이동과 인코더의 회전 사이에 기계의 미끄러짐이 없다고 가정한다.
롤러의 회전당 4096 펄스를 발생시키는 인코더를 선택하고, 컨베이어 롤러의 둘레는 3인치이다.
(따라서, 지름 = 둘레 /pi = 약 1인치) 인코더 펄스당 거리는,

펄스 당 거리 = (회전당 롤러길이) / (회전당 인코더펄스)
= 3인치 / 4096펄스= 0.0007324 펄스당 인치

이 값은 약 2배 만큼 거리가 너무 작다. 롤러의 둘레가 고정되어 있으면 2배 만큼 인코더 펄스를 나누기 위해 Teledyne DALSA의 Xcelera 프레임 그래버에서 인코더 입력 또는 PLC의 ‘축’ 입력을 사용할 수 있다. 또는 회전당 2048개의 펄스를 생성하는 인코더를 선택할 수 있다. 이들은 다음을 제공한다.

펄스 당 거리 = 2×0.007324 = 0.0014648인치

Line scan 카메라의 픽셀 보정

Line scan 카메라의 장점은 개별 픽셀 반응의 하드웨어 보정을 할 수 있다는 것이다.
픽셀 반응이 변화되는 원인은 다양하다. 조명은 결코 완벽하게 균일하지 않다. 조명 개별 램프의 밝기가 모두 다르고 빛의 가장자리를 향할수록 빛의 세기가 점점 떨어지기 때문에 일반적으로 약간의 변화를 확인할 수 있다. 대부분의 렌즈는 광축에서 멀어질 때 빛이 엷어진다. (광축 : 렌즈를 통한 중심 라인)카메라의 개별 픽셀은 카메라의 제조 공정에서의 변동으로 인해 오프셋 및 게인에서 일부 변동을 한다.
각 픽셀의 오프셋 및 게인은 이러한 소스의 변동을 보상하기 위해 조정된다. 이것은 개체가 포화하지 않은 가장 높은 세기와 가장 낮은 세기로 모든 픽셀을 노출하여 수행할 수 있다. 오프셋 보정은 가장 낮은 세기의 값을 뺀다. 게인 보정은 센서 픽셀에 걸쳐 일정하도록(보정된) 가장 작은 세기와 가장 큰 세기의 값의 범위를 설정한다.

작업시의 Line scan 카메라

다음은 Line scan 카메라의 실제 애플리케이션 2개를 보여준다.
멀티 카메라 웹 검사
Line scan 기술은 연속 웹 애플리케이션에서 선택할 수 있는 방법의 하나이다. 예를 들어, 12피트 너비와 분당 350피트로 이동하는 플라스틱 필름 생산라인을 들 수 있다. 구멍, 먼지, 오염 물질 등과 같은 작은 결함을 찾는다. 웹의 넓은 영역과 고속으로 인해 Area scan 카메라로 검사하려고 시도하는 것은 매우 까다롭다. 사람의 눈으로 검사하는 것은 불가능하다.

컬러 Line scan
컬러 Line scan 카메라는 다양한 색상의 리벳(Rivet), 그로멧(Grommet), 브래킷(Bracket) 등을 통합하는 의료용 트레이를 검사하는데 사용된다. 이러한 요소는 쉽게 구별할 수 없고, 그레이 스케일(세기) 이미지를 사용하여 검사할 수 없다.

제조 업체는 길이 27인치, 너비 18인치의 다양한 크기의 많은 대형 트레이를 생산한다.
2K 컬러 Line scan 카메라가 대형 의료용 트레이를 수용할 수 있도록 가로 20인치로 매핑된다. Line scan 카메라를 사용하기 때문에 세로 크기에는 제한이 없다. 위의 그림에서처럼 2개의 24인치 라인 조명이 컨베이어 벨트를 따라 이동하는 전체 트레이를 조명한다. FOV로 트레이가 들어오는 대로 컬러 Line scan 카메라가 실행되도록 컨베이어의 인코더가 동기화 된다.
※위의 내용은 Teledyne DALSA 제품을 국내에 독점 공급하는 앤비젼의 홈페이지에서도 찾아 볼 수 있다.

자료제공 | 앤비젼(www.envision.co.kr)
<참조>
Teledyne DALSA
컬러 Line scan 카메라
Teledyne DALSA의 Line scan 획득 인터페이스