Line scan 카메라 애플리케이션의 이해
Envision
Line scan(Line scan) 카메라는 고해상도 이미지와 대형 개체도 완벽하게 이미지화할 수 있다. Line scan 카메라는 1개의 라인만으로 개체 전부를 이미지화 할 수 있다. Line scan 카메라로 2차원 이미지로 구축하려면 카메라 또는 개체가 픽셀 라인의 세로 방향으로 이동해야 한다.
이것은 2차원 이미지를 촬영하는 Area scan 카메라와 비교하여 개체를 이미지화하기에 복잡한 방법처럼 보일 수 있다. 그러나 개체가 크거나 연속적으로 이동하거나 고해상도 이미징을 해야만 하면 Line scan 카메라가 Area scan 카메라보다 훨씬 좋은 선택이다.
머신 비전 시스템이 종이 또는 플라스틱 등을 긴 롤에서 결함 검사를 한다고 가정해보자. 이 때 결함을 검출하려면 총 16,000 픽셀의 해상도가 필요하다. 촬영 속도는 롤을 푸는 메커니즘에 연결된 로터리 인코더로 측정된다고 가정하자.
4개의 Area scan 카메라를 나란히 장착하여 사용할 수 있지만 이렇게 사용하면 단점이 많다. 먼저, 대형 Area scan 카메라는 일반적으로 픽셀 값을 채워 숨겨진 결함을 찾는다. 이 방법은 결함을 자칫 못 발견할 수 있다.
둘째, 개체의 움직임으로 인한 치우침을 방지하기 위해서는 Area scan 카메라의 노출 시간은 굉장히 짧아야 한다. 짧은 노출에서도 이미지를 얻으려면 영역 전체에 고강도 조명이 필요하다. 로터리 인코더 출력이 모든 카메라의 이미지 획득과 동기화돼야 한다. 마지막으로, 낮은 콘트라스트의 결함을 감지하는 데 필요한 픽셀 오프셋과 게인 변동을 제거해야 하기 때문에 Area scan 카메라는 많은 시간이 소비된다.
따라서 단 1개의 라인을 사용하는 16,000 픽셀의 Line scan 카메라가 훨씬 좋은 솔루션이다. 단 하나의 카메라만으로 결함이 있는 픽셀이 없다. 로터리 인코더는 이미지 각 라인과 동기화가 실행된다. 노출 시간은 이미지를 얻기 위해 프레임 전체를 조명하지 않고 라인에만 조명할 수 있다.
TDI(Time Delay and Integration) Line scan 카메라를 사용하면 카메라의 이동과 동기화된 노출을 통합한 픽셀 행을 가지므로 행의 수와 노출 시간을 곱한 값을 사용할 수 있다. 각 픽셀의 게인 및 오프셋은 라인에 걸쳐 균일한 응답을 제공하도록 조정할 수 있다. 이러한 조정은 Line scan 카메라의 하드웨어에서 수행된다.
Line scan 기술을 사용하는 경우
Line scan 기술은 종이, 섬유, 금속, 유리 테이프 등과 같은 연속 웹 검사 등 대형, 고해상도, 고속 이미지 캡처가 필요한 애플리케이션에 적합하다. 예를 들어, 철도 및 도로 검사, 위성 이미징, 표면 지형 스캔 등에 사용할 수 있다. Line scan 기술은 용융 유리, 철강, 우편 분류 등을 포함하는 자유 낙하 촬영에도 사용할 수 있다. 대형으로 결함 없는 이미지가 있어야 하는 실리콘 웨이퍼, FPD, 태양 전지, PCB, 의료 진단, 기타 작업 등의 검사 작업에서도 Line scan 기술이 필요하다.
카메라가 수집하는 광자(photon)를 더욱 많이 얻을 수 있는 집중 조명과 TDI(Time Delay and Integration) 기술을 사용하여 짧은 노출 시간을 보상할 수 있기 때문에 제품의 속도가 빠를 때 Line scan 카메라는 Area scan 카메라보다 더욱 효과적이다. Area scan 카메라는 비전 시스템의 CPU를 사용하여 게인 및 오프셋 보정을 수행하기 때문에 느릴 수 있지만, Line scan 카메라는 카메라 내에서 게인 및 오프셋 보정을 수행하므로 빠르다.
Line scan 이미지가 형성되는 방법
Line scan 이미지 센서는 1개 이상의 픽셀 라인을 가진다. 카메라의 노출 시간 동안 이미지에 비춰지는 개체의 빛에 비례하는 광전자 전하를 각 픽셀이 축적한다. 노출 시간이 종료되면 전체 픽셀 행의 전하는 판독 레지스터로 전송된다. 판독 레지스터는 픽셀 전하를 이동시킨 다음 이들을 증폭시키고 보정하여 디지털화되어 카메라가 출력한다. 다음 픽셀 행이 노출되는 동안 판독 레지스터는 픽셀 전하를 이동시킨다. 노출과 판독을 할 수 있는 최대 속도를 Line rate 라고 하며, kHz(킬로헤르츠) 단위를 사용한다.
빠르게 움직이는 개체의 움직임을 촬영하려면 고속 Line rate가 필요하다. 앤비젼의 협력사인 Teledyne DALSA에서 제공하는 Line scan 카메라는 최대 200 kHz의 Line rate, 이미지화되는 픽셀 라인당 5 μs의 속도를 사용할 수 있다. 판독 속도를 향상하기 위해 여러 개의 탭(판독 레지스터를 따르는 판독 지점)을 사용한다.
Line scan 획득 인터페이스
픽셀 데이터는 카메라에서 비전 프로세서 또는 프레임 그래버로 프로세싱을 위해 전송된다. 앤비젼의 협력사인 TeledyneDALSA는 3개 유형의 데이터 전송 인터페이스로 카메라를 제공한다.
Gigabit Ethernet(GigE)은 초당 약 80 메가바이트의 데이터 속도(MB/s)를 사용할 수 있다. 표준 GigE 인터페이스는 비전프로세서에서 카메라 데이터를 수신한다. 이 인터페이스는 Teledyne DALSA의 GEVA(GigE Vision Appliance) 비전프로세서에서 사용된다.
CameraLink 인터페이스는 데이터를 수신하기 위해 프레임 그래버를 사용하고 3개의 형식 중 하나를 사용할 수 있다. Base 형식은 1개의 케이블을 사용하여 255 MB/s의 속도로 전송한다. Mediμm 형식은 510 MB/s이고 Full 형식은 680 MB/s이다.(케이블 2개 사용)
Teledyne DALSA가 개발한 HSLink 인터페이스는 6000 MB/s의 속도로 전송하고 데이터를 수신하려면 프레임 그래버가 있어야한다. 예를 들어, Piranha3 16k(16,384 픽셀 라인) 카메라는 72 kHz의 Line rate로 이미지를 획득하기 위해 HSLink를 사용하다. 초당 약 1,179,000,000 픽셀을 획득할 수 있다. 프레임 그래버 또는 비전 프로세서에서 픽셀 값의 전송 라인은 프레임으로 축적된다.
Line scan 이미지 센서의 너비(X 축) 및 사용자가 지정한 높이의 이미지는 일반적으로 4,000 라인보다 작다. 프레임은 결함 감지와 텍스트 판독(OCR)과 같은 머신비전 작업을 수행하기 위해 프로세싱 된다. 연속되는 프레임은 비전 프로세서에서 중첩(overlap)된다. 예를 들면, 하나의 프레임의 상단 가장자리와 다음 프레임의 하단 가장자리에 걸쳐있는 스폿 결함을 검출할 수 있다.
TDI
TDI(Time Delay and Integration) Line scan 카메라는 2 ~ 256개의 픽셀 행이 수직으로 배열되어 있다. 각 행의 각 픽셀에서의 광전자는 개체의 움직임 방향으로 아래 픽셀의 행으로 합산된다. 합산은 축적된 광전자 전하의 이동으로 수행된다.
이동 및 합산은 일반적으로 모션 인코더의 펄스로 신호화되는 개체의 움직임 속도와 같은 속도로 구동된다. TDI 카메라는 픽셀행의 개수로 노출 시간을 효율적으로 곱하기 때문에 노출 시간이 짧은 경우에도 높은 콘트라스트의 이미지를 제공할 수 있다.
또 다른 방법은 픽셀 라인이 개체의 움직임과 동기화되면 전기적으로 이동하여 개체의 움직임으로 인해 발생하는 블러(blur) 현상 없이 노출 시간을 증가시키는 것이다. 카메라의 노출 시간은 Line rate의 역수보다 작아야 하며 Line rate와 독립적이다.
컬러 Line scan 카메라
컬러 Line scan 카메라는 다양한 파장의 빛을 감지하기 위해 행 방향 픽셀에 다양한 컬러 필터를 가지거나 다양한 컬러 필터를 가진 센서 픽셀 행을 가진다. 필터는 우리가 적색, 녹색, 청색 등 RGB이지만, 원격 위성 탐사와 같은 일부 애플리케이션은 다른 유형을 사용한다.
라인당 적색, 녹색, 청색 필터를 가진 Trilinear 센서는 픽셀 적색과 청색이 교대로 있다. 녹색이 있는 필터를 가진 Bilinear 센서의 픽셀 컬러 Line scan 카메라는 인쇄물 이미징에 특히 유용하다. 이 작업을 위해 라인당 1개의 필터 유형을 가진 Trilinear 카메라를 사용하면 각각의 이미지 픽셀은 RGB 전체 집합을 가질 수 있다. 컬러 센서 픽셀의 다양한 라인은 이미지화되는 개체와 같은 부분으로 모두 보인다.
컬러 Line scan 카메라를 위한 렌즈는 색수차를 없애기 위해 컬러 보정되어야 한다. 렌즈가 같은 초점 평면상에 서로 다른 파장의 빛에 초점을 맞추지 못할 때 색수차가 발생하고, 세기의 가장자리 주변에 색 줄무늬로 나타난다.
개체 표면과 수직인 방향으로 카메라가 바라보면 일부 원근 왜곡이 있을 수 있다. 원근 왜곡은 개체에 1/거리로 비례하기 때문에 픽셀의 서로 다른 컬러 행에 대해 약간씩 다른 결과가 나타난다. 따라서 픽셀 각 행은 다른 크기를 가지고 개체 표면에 투영되는 픽셀 모양이 되기 때문에 높은 정밀도의 컬러 측정에 오류가 발생할 수 있다. 개체 표면에 카메라가 수직인지 확인해야 한다. 컬러를 사용하지 않을 경우에도 마찬가지이다.
Line scan 카메라용 조명
개체를 보기 위해 조명이 필요하다. 조명과 렌즈는 개체의 특징을 향상할 수 있는 광학 프로세서의 역할을 한다. Line scan 카메라는 개체 픽셀의 라인을 따라 조명하기 위해 LED 라인에서 조명을 집중하는 ‘라인 조명’을 사용한다. 라인 조명은 짧은 노출 시간에 필요한 높은 세기의 조명을 제공한다. 라인 조명은 넓은 개체를 보기 위해 매우 긴 조명을 사용한다.
Effilux의 고출력 라인 조명
라인 조명은 후면 조명을 제공하기 위해 개체 뒤에 위치하거나, 개체를 내려다볼 수 있도록 개체 위 높은 각도로 위치한다. 후면 조명은 투명한 소재의 입자 결함 또는 불투명한 소재의 핀홀 결함 등을 검출하기 위해 사용된다. 높은 각도의 조명은 개체 색상 또는 윤곽선을 얻거나 표면 결함을 검출하기 위해 사용된다. 조명 세기는 사용되는 LED, 빛을 통해 흐르는 전력, 램프의 수명 및 품질, 렌즈의 효율 등에 따라 달라진다. 이러한 변수들은 적당한 양의 빛을 지정하기가 어려우므로 필요한 것보다 많은 조명 세기를 지정한다.
애플리케이션에 적합한 Line scan 카메라를 선택하는 방법
Line scan 카메라를 선택할 때 감도, 크기, Line rate 3가지를 중요하게 고려해야 한다.
감도
감도는 머신 비전 작업을 수행하기 위해 충분한 광자를 카메라가 얻을 수 있는가를 정의한다. 이는 너무 많은 변수가 있기 때문에 구성 요소 사양으로만 이 질문에 대답하는 것은 어려운 일이다. 필요한 빛의 세기를 추정한 뒤 더 많은 빛의 세기를 지정한 다음 테스트하여 필요한 감도를 가졌는지 확인한다. 언급한 바와 같이, 먼저 빛의 세기는 다양한 변수들에 의존한다.
둘째, 렌즈는 카메라로 들어가는 빛을 줄일 수 있다. 고배율 렌즈를 사용하거나 많은 DOF(depth of field)를 얻기 위해 렌즈를 많이 조이면 감소할 수 있다.
셋째, 감도는 광전자로 광자를 변환하는 기능인 카메라의 responsivity에 따라 달라진다. 감도를 증가하기 위해서는 센서 픽셀이 큰 카메라를 선택하면 된다. Line scan 카메라는 100% fill factor(광자를 축적하는 센서 픽셀의 비율)를 가진다.
Area scan 카메라는 일반적으로 작은 픽셀과 적은 fill factor를 가지고, 긴 노출 시간을 요구하여 responsivity의 손실을 만회한다. 또한 개체와 함께 카메라의 센서 라인을 전자적으로 이동하여 노출 시간을 증가시키는 TDI Line scan카메라를 사용할 수 있다.
크기
카메라의 센서 픽셀 크기를 결정하려면 먼저 FOV(field of view)와 결함 크기를 지정해야 한다. 카메라는 최소 결함 크기를 3개 또는 4개 픽셀로 커버할 수 있는 충분한 해상도를 가져야 한다.
예를 들어, FOV가 12” 이고 최소 결함 크기가 0.005” 이면,
(FOV/ 최소 결함) x (3 픽셀 커버 범위)
(12/0.005) x 3 = 7200 픽셀
8K(8,192 픽셀) Line scan 카메라를 사용하거나, 가로 FOV를 일부 오버랩하여 2개의 4K(4096 픽셀) Line scan 카메라를 나란히 사용할 수 있다.
Line Rate
Line rate는 FOV, 가공 속도, 개체 픽셀 크기 등에 의해 설정된다. 예를 들어, FOV가 12”, 가공 속도가 초당 60”이고, 8K(8,192센서 픽셀) 카메라를 사용한다면, (FOV에서의 개체 픽셀 크기) = FOV/(센서 픽셀에서의 카메라 크기) =12/8192 = 0.001465” FOV에서의 개체 픽셀 크기 필요한 Line rate: 60”/0.001465” = 40.956 kHz
Teledyne DALSA의 Piranha4 70 kHz 카메라를 사용할 수 있다.
Line scan 카메라용 렌즈
렌즈는 감도를 향상하기 위해 개체로부터 빛을 수집하고 카메라의 라인 센서 크기와 일치하도록 FOV를 확대(또는 축소)한다. 다음과 같이 배율을 계산할 수 있다.
배율= (카메라의 픽셀 크기(미크론 단위))/(FOV 개체 픽셀 크기)
위의 예제에서는 Piranha4 카메라를 사용했다. 따라서,
배율= (7.04 미크론) /(37.211 = 0.001465 인치를
미크론으로 변환) = 0.189
따라서, 실제 FOV에서 카메라의 라인 센서로 축소되는 크기는 1/0.188 = 5.286 이다. 이 비율(예제에서의 5.286)이 역배율 된다. 다음으로, 카메라의 면판(전면, 카메라의 평평한 표면)부터 이미지화될 개체(예: 웹 소재)까지의 동작 거리(working distance)를 지정해야 한다. 이것으로부터 필요한 렌즈의 초점 거리를 얻을 수 있다.
초점 거리 =(동작 거리) /(역 배율 + 1)
이 예제에서는 렌즈의 표준 초점 거리인 50mm를 제공하도록 314.28 mm = 12.37 인치의 동작 거리가 선택되었다. 동작거리는 일반적으로 표준 렌즈의 초점 거리와 일치되도록 조정된다. 초점 거리 외에도, 렌즈의 마운트 유형을 알아야만 한다. 최대 2,048 픽셀의 작은 Line scan 카메라는 1" 조리개의 C 마운트렌즈를 사용할 수 있다. 더 긴 Line scan 카메라는 F, M42, M72 등의 마운트 렌즈가 필요하다.
Line scan 카메라 동기화
Line scan 카메라의 노출은 개체의 움직임과 동기화해야 한다. 일반적으로 개체 움직임의 지정된 시간 동안 펄스를 출력하는 인코더와 함께 이루어진다. 몇 개의 인코더 펄스가 발생하면 Line scan 카메라는 라인 이미지를 촬영하기 위해 실행된다. 일반적으로, FOV의 너비와 높이가 같은 픽셀인 정사각형 픽셀을 원하지만 그렇게 되려면 개체의 픽셀 크기와 개체가 같이 이동하도록 카메라가 실행되어야 한다.
위의 예제에서는 FOV에서의 픽셀 크기가 0.001465 인치이기 때문에 정사각형 픽셀을 얻으려면 카메라는 개체가 이 거리를 이동할 때마다 촬영하도록 설정해야 한다. 라인 수집 트리거 거리를 설정하려면 거리 또는 회전 당 인코더의 펄스를 선택하거나 프로그래밍하고, 인코더와 개체 이동사이의 비율을 선택한 다음, 카메라 라인 수집 사이의 인코더 펄스 수를 프로그래밍 해야 한다.
위의 예제를 사용하여 개체가 컨베이어 벨트에 있고, 컨베이어 롤러에 로터리 인코더가 연결되어 있다고 가정하자. 정사각형 픽셀의 경우, 컨베이어 벤트가 0.001456 인치가 이동할 때마다 카메라 트리거 펄스가 발생해야 한다. 이때 개체의 이동과 인코더의 회전 사이에 기계의 미끄러짐이 없다고 가정해보자. 롤러의 회전당 4096 펄스를 발생시키는 인코더를 선택하고, 컨베이어 롤러의 둘레는 3인치이다.(따라서, 지름 = 둘레/pi =약 1인치) 인코더 펄스 당 거리는,
펄스 당 거리 = (회전당 롤러 길이)/ (회전당 인코더 펄스)
= 3 인치 /4096 펄스 = 0.0007324 펄스 당 인치
이 값은 약 2배 만큼 거리가 너무 작다. 롤러의 둘레가 고정되어 있으면 2배 만큼 인코더 펄스를 나누기 위해 TeledyneDALSA의 Xcelera 프레임 그래버에서 인코더 입력 또는 PLC의 ‘축’ 입력을 사용할 수 있다. 또는 회전당 2048개의 펄스를 생성하는 인코더를 선택할 수 있다. 이는 다음의 값을 제공한다.
펄스 당 거리 = 2 * 0.007324 = 0.0014648 인치
Line scan 카메라의 픽셀 보정
Line scan 카메라의 장점은 개별 픽셀 반응의 하드웨어를 보정할 수 있다는 것이다. 픽셀 반응이 변화되는 원인은 다양하다. 조명은 결코 완벽하게 균일하지 않다. 조명 개별 램프의 밝기가 모두 다르고 빛의 가장자리를 향할수록 빛의 세기가 점점 떨어진다. 대부분의 렌즈는 광축에서 멀어질 때 빛이 엷어진다. 카메라의 개별 픽셀은 카메라의 제조 공정에서의 오프셋 및 게인에서 변동한다.
각 픽셀의 오프셋 및 게인은 이러한 소스의 변동을 보상하기 위해 조정된다. 이로 인해 개체가 포화하지 않은 가장 높은 세기와 가장 낮은 세기로 모든 픽셀을 노출하여 수행할 수 있다. 오프셋 보정은 가장 낮은 세기의 값을 뺀다. 게인 보정은 센서 픽셀에 걸쳐 일정하도록 가장 작은 세기와 가장 큰 세기의 값의 범위를 설정한다.
작업시의 Line scan 카메라
다음은 Line scan 카메라의 실제 애플리케이션 2개를 보여준다.
멀티 카메라 웹 검사
Line scan 기술은 연속 웹 애플리케이션에서 선택할 수 있는 방법 중 하나다. 예를 들어, 12 피트 너비와 분당 350 피트로 이동하는 플라스틱 필름 생산 라인을 들 수 있다. 이 검사에서는 구멍, 먼지, 오염 물질 등과 같은 작은 결함을 찾아야 한다. 웹의 넓은 영역과 고속으로 인해 Area scan 카메라로 검사하려고 시도하는 것은 매우 까다로운 일이다. 사람의 눈으로 검사하는 것은 불가능하다.
결함은 50 ~ 100 미크론, 또는 200 미크론과 같은 크기와 콘트라스트 유형에 따라 분류된다. 밝은 개체는 구멍일 수 있고, 어두운 개체는 오염 물질일 수 있다. 상세 정보와 웹의 너비로 인해 6개의 Gigabit Ethernet 2048 픽셀의 Line scan카메라가 필요하다. 백라이트가 사용되므로 라인 조명은 웹으로 빛을 비추고 카메라로 빛이 들어간다. 총 데이터 속도는 초당 73,000,000 픽셀이다. 프로세싱을 위한 이미지는 3,560 라인이다.
다만 연속 웹 애플리케이션이기 때문에 결함을 발견해도 이를 처리할 방법이 없다. 프로세스를 중지하기에 웹은 너무 빠르게 움직이고 있다. 대신, 롤맵이 기록하고 결함의 위치와 종류를 설명한다. 이 스크린 샷은 카메라 5로 만들어진 롤 맵의 부분을 보여준다.
왼쪽 화면은 실시간 화면을 보여준다. 오른쪽의 롤 맵은 Y 축이 선형 장면을 식별하고, X 축이 결함 위치를 나타낸다. 제품 롤이 마무리를 위해 전송되면 제품이 풀리는 대로 결함을 찾을 수 있다.
컬러 Line scan
컬러 Line scan 카메라는 다양한 색상의 리벳, 그로멧, 브래킷 등을 통합하는 의료용 트레이를 검사하는 데 사용된다. 이러한 요소는 그레이 스케일(세기) 이미지를 사용하여 검사할 수 없다.
제조업체는 길이 27 인치, 너비 18 인치의 다양한 크기의 많은 대형 트레이를 생산한다. 2K 컬러 Line scan 카메라가 대형 의료용 트레이를 수용할 수 있도록 가로 20인치로 매핑된다. Line scan 카메라를 사용하기 때문에 세로 크기에는 제한이 없다. 2개의 24인치 라인 조명이 컨베이어 벨트를 따라 이동하는 전체 트레이를 조명한다.
FOV로 트레이가 들어오는 대로 컬러 Line scan 카메라가 실행될 수 있도록 컨베이어의 인코더가 동기화된다.
결론
Line scan 카메라는 대형 개체를 이미지화하고, 고해상도 고속에서 완벽한 이미지가 필요하거나 픽셀 반응을 실시간으로 보정하는 작업이 필요한 애플리케이션에서 사용된다. 이 카메라는 1개의 픽셀 라인을 가지고 있으며, 개체를 2차원으로 구축하기 위해 카메라 또는 픽셀 라인에 수직으로 이동한다.
촬영 부분을 더욱 밝게 하도록 Line scan 카메라가 개체를 촬영하는 곳에 라인 조명을 맞추고 TDI(Time delay and integration) 카메라는 개체의 움직임과 동기화되는 픽셀 라인을 전자적으로 이동시켜 긴 노출 시간을 사용할 수 있다.
Line scan 카메라는 플라스틱 또는 종이 제조에서의 웹 소재 검사, 도로와 철도 검사와 같이 연속적인 검사, 인쇄 검사와 같이 고품질 이미지 검사가 필요한 애플리케이션에 적합하다. Line scan 기술을 구현할 때 개체의 움직임과 카메라 수집을 동기화하도록 충분히 주의를 기울이지 않으면 안 된다. 비용은 Area scan 카메라보다 많이 들 수 있지만, Area scan 카메라가 쉽게 해결할 수 없거나 전혀 해결할 수 없는 문제들을 해결한다.
자료 제공: Envision(www.envision.co.kr)
