머신 비전의 컬러 이미징:애플리케이션에 적합한 카메라를 선택하는 방법 ②
CHAPTER 4 라인 스캔 컬러 카메라
컬러 라인 스캔 기술의 성능과 유연성이 필요한 머신 비전 시스템을 구축하는 경우 고려할 수 있는 카메라 타입에는 3라인 또는 프리즘 카메라가 있다.
- 3라인 스캔 카메라
3라인 기술은 3개의 개별 이미징 라인을 사용해 RGB 이미지를 캡처한다. 과거에는 3개의 별개 선형 센서가 가능한 가깝게 장착되었지만 현재 대부분의 최신 카메라에는 가까이 배치된 3개의 픽셀 라인이 탑재된 싱글 센서가 장착되어 있다.
각 라인의 픽셀 위에는 삼원색(R, G 또는 B) 중 하나를 캡처하기 위한 폴리머 컬러 필터가 장착되어 있다. 카메라를 타겟의 움직임과 동기화하여 각 라인이 타겟의 동일한 지점을 지날 때 캡처한 이미지를 결합해 타겟 라인의 각 픽셀에 대한 RGB 값을 제공할 수 있다.
- 3라인 카메라를 선택해야 하는 경우
• 카메라 가격이 결정에 중요한 요소인 경우
현재 대부분의 3라인 카메라는 싱글, 멀티 라인 센서를 중심으로 제작되기 때문에 프리즘 카메라보다 저렴한 옵션을 제공한다.
카메라 비용이 낮을 뿐 아니라 3라인 카메라는 프리즘 카메라에 필요한 권장 렌즈의 비용 역시 절감할 수 있다. 이를 모두 합하면 유사한 프리즘 카메라에 비해 비용을 50% 절감할 수 있다. 그러나 더 높은 강도의 조명을 사용해야 하고 프리즘 필터에 비해 폴리머 필터의 성능 저하가 더 빠르다는 것과 같은 몇 가지 요인으로 인해 시스템을 계속 사용하면서 이러한 비용 절감 효과가 상당 부분 무효화될 수 있다는 것을 명심해야 한다.
• 애플리케이션에 고속 이미징이 필요한 경우
3라인 카메라는 정확한(보간되지 않은) RGB 이미지 데이터를 빠른 라인 속도로 제공할 수 있다고 알려져 있다. 최신 4K 모델(라인당 4096픽셀)은 50kHz~70kHz(초당 5만~7만 라인) 만큼 빠르게 작동할 수 있다. 유사한 프리즘 카메라의 경우 과거에는 이러한 라인 속도를 따라잡을 수 없었지만 현재 최신 프리즘 카메라는 가장 빠른 3라인 카메라와 거의 동일한 속도를 제공한다.
• 대략적인 수직 정렬을 보장할 수 있는 경우
3라인 카메라가 타겟보다 상대적으로 기울어지면 타겟에서 3개의 각 센서 라인까지의 거리가 달라져 타겟에서 각 라인이 커버하는 길이가 약간씩 달라진다. 약간만 기울어진 경우 카메라의 보정 알고리즘을 통해 조정할 수 있다. 그러나 더 큰 각도의 경우 오프셋으로 인해 이미지에 색상 줄무늬("후광") 또는 기타 아티팩트가 생길 수 있다. 3라인 카메라는 타겟에 대한 각도가 수직에 가까우며 잦은 변경이 필요하지 않은 경우에 가장 잘 작동한다.
• 타겟이 최소한의 굴곡을 갖은 평평한 표면일 경우
전체 RGB 정보를 수집하기 위한 3개의 라인이 약간 다른 시점에서 캡처되어야 하기 때문에 잔물결 또는 기타 표면 진동이 있는 경우 각 라인을 캡처할 때 타겟이 가까워지거나 멀어질 수 있다. 이는 위에서 설명한 것과 같은 픽셀 오프셋과 "후광"을 만들 수 있다. 마찬가지로 컨베이어에서 움직일 때 개별 개체가 흔들리거나 구르는 경우 캡처된 3개의 라인 간에 불일치가 발생할 수 있다. 최상의 결과를 얻으려면 3라인 카메라는 타깃이 평평하고 변동이 작은 경우에 사용해야 한다.
• 시스템에 4k 이상의 해상도가 필요한 경우
현재 프리즘 라인 스캔 카메라의 최고 해상도는 4K이다. 라인 스캔 시스템에 8K 또는 16K 라인 해상도가 필요한 경우 3라인이 유일한 옵션이다.
• 시스템에 전력 소모가 낮은 소형 경량 카메라가 필요한 경우
3라인 카메라는 일반적으로 프리즘 및 여러 개의 이미지 장치를 탑재해야 하는 프리즘 카메라보다 크기가 작다. 게다가 프리즘 카메라는 더 크고 3개의 이미지 장치를 별도로 제어하기 때문에 당연히 더 무거우며 작동에 더 많은 전력이 필요하다.
- 프리즘 기반, 멀티 센서 기술
3라인 카메라와 마찬가지로 프리즘 라인 스캔 카메라는 RGB 정보를 캡처하기 위해 3개의 개별 라인을 사용한다. 그러나 프리즘 라인 스캔 카메라의 경우 3개의 개별 라인 센서를 사용한다. 프리즘에 장착된 이러한 센서는 단일 광학 평면에 맞춰 정렬되어 3라인 카메라에서 순차적으로 캡처하는 것과 달리 3개의 센서 모두가 타깃의 동일한 라인을 동시에 캡처할 수 있다. 프리즘의 이색성 코팅은 이미지를 3개의 개별 센서로 분리하여 라인의 각 픽셀에서 매우 정확한 RGB 값을 캡처한다.
- 멀티 센서 프리즘 카메라를 선택해야 하는 경우
• 최고의 색상 정확도가 필요한 경우
R, G, B 파장을 분리하기 위해 사용되는 이색성 프리즘 코팅은 3라인 카메라의 폴리머 필터보다 더 정밀한 분리를 제공한다. 그 결과 색상 채널 간 혼선이 줄어들어 특히 스펙트럼 대역이 겹치는 경우 색상 정확도가 향상된다.
• 시스템에 기울어진 카메라가 필요하거나 컨베이어 벨트의 속도가 다양한 경우
기울어진 위치에서 3라인 카메라를 사용하거나 다양한 속도로 움직이는 컨베이어 벨트에서 개체를 캡처하는 경우 라인 간격 및 노출 동기화와 관련된 문제가 발생할 수 있다. 그러나 프리즘 카메라는 한 번에 한 라인씩 캡처하고 내부에서 분할한다.
각도에 따라 각 라인마다 다른 길이를 갖는 3라인 카메라(키스톤 효과)와 달리 프리즘 카메라는 타겟보다 상대적으로 기울어진 경우에도 3개 라인 모두 타겟에서 동일한 길이를 가진다.
마찬가지로 프리즘 카메라의 경우 각 라인에서 동시에 R, G, B 정보를 캡처하기 때문에 3라인 카메라와 달리 약간의 속도 변화는 캡처된 색상 데이터 품질에 영향을 주지 않는다.
• "웹"에 잔물결이 있거나 물체의 방향이 바뀌는 경우
연속적인 종이시트에 작은 물결은 3라인 카메라에서 큰 문제가 발생할 수 있다. 그 이유는 3개 라인이 타깃을 서로 다르게 캡처해 픽셀 오프셋과 색상 얼룩을 유발할 수 있기 때문이다. 마찬가지로, 3차원 물체가 약간 구르거나 움직이는 경우에도 3라인 카메라의 3개 라인은 서로 다른 물체 방향을 캡처하게 된다.
프리즘 기반 라인 스캔 카메라는 단일 광학 평면을 통해 각 센서의 각 픽셀이 항상 정확히 동일한 지점에 초점을 맞출 수 있도록 해 이러한 문제를 방지한다. 때문에 물체에 굴곡이 있거나 물체가 움직이는/구르는 것에 관계없이 깨끗한 이미지를 생성할 수 있다.
• 화이트 밸런싱 및 색상 보정을 더 잘 제어하고 싶은 경우
프리즘 카메라의 경우 3개 라인 스캔 센서의 노출 설정을 각각 독립적으로 제어할 수 있다. 이를 통해 3라인 카메라와 달리 이득이 아닌 노출을 사용한 화이트 밸런싱이 가능하다. 애플리케이션에서 절대적인 최소 노이즈가 필요한 경우 우수한 감도 및 노출 기반 화이트 밸런싱을 제공하는 프리즘 카메라가 가장 좋은 선택이 될 수 있다.
• 시간이 지남에 따라 머신 비전 시스템이 더 안정적으로 유지되기를 원하는 경우
이색성 프리즘 코팅은 3라인 폴리머 필터보다 우수한 광 투과율을 제공할 뿐만 아니라 시간이 지남에 따라 더 안정적으로 된다. 더 우수한 광 투과율을 통해 프리즘 기반 시스템은 더 낮은 강도(및 저비용)의 조명을 사용하는 경우에도 좋은 노출을 얻을 수 있다. 3라인 기반 시스템의 경우 동일한 노출을 얻기 위해 대부분 더 높은 강도의 조명이 필요하다. 이는 더 많은 비용이 들 뿐만 아니라 카메라의 컬러 필터를 훨씬 더 빠르게 저하시킬 수 있다.
CHAPTER 5 컬러 머신 비전 시스템 고려 사항
특정 머신 비전 컬러 카메라가 애플리케이션에 적합한지 아닌지는 다양한 요인에 따라 달라진다. 애플리케이션에 가장 적합한 컬러 머신 비전 시스템을 개발하는 경우 이러한 모든 요소를 고려해야 한다. 다음은 컬러 머신 비전 시스템을 개발할 때 고려해야 하는 몇 가지 카메라 이슈이다.
- 색상 정확도/구별
첫 번째 고려 사항은 애플리케이션에 필요한 색상 정확도와 구분 수준이다. 특정 애플리케이션의 경우 머신 비전 카메라가 감지된 색상이 목표 값과 얼마나 다른지 구별할 수 있어야 한다. 이 부분에서 높은 수준의 정밀도가 필요한 머신 비전 사용자는 낮은 수준의 정밀도와 구분이 허용되는 사용자보다 고급 카메라가 필요하다.
위에서 언급했듯이 보간과 낮은 감도는 더 높은 수준의 색상 정확도와 구분을 구현하는 데 있어 가장 큰 장애물이다.
보간의 경우 주변 픽셀의 평균을 사용하여 각 픽셀의 색상 값을 결정하기 때문에 색상 감지 시 섬세한 차이를 유발할 수 있다. 때문에 머신 비전 시스템이 섬세한 색상 차이를 구별하려고 할 때 색상의 음영이 실제로 다른지 아니면 단순히 Bayer 보간에 따른 변화인지 불분명할 수 있다.
- 색상 혼선(crosstalk: 크로스토크)
고도의 색상 혼선은 머신 비전 카메라의 색상 정확도 수준에 영향을 준다. 높은 수준의 혼선은 Bayer 컬러 필터 또는 이색성 프리즘 코팅에 의해 정의된 적색, 청색, 녹색 채널의 스펙트럼 응답이 상당 부분 서로 겹침에 따라 발생한다. 채널 간에 겹치는 부분이 많으면 특정 색상 계열, 특히 황색 또는 청록색 계열의 색상에서 상당한 불확실성이 생긴다.
이는 머신 비전 시스템이 이러한 색상의 다른 색조를 구별해야 하는 경우 큰 문제가 될 수 있다. 따라서 컬러 머신 비전 시스템을 개발할 때 분석에 필수적인 색상 계열과 머신 비전 시스템에서 허용되는 색상 혼선 수준을 고려하는 것이 중요하다.
- 조도 및 감도
애플리케이션에 따라 머신 비전 시스템에 특정 수준의 광 감도가 필요한 경우가 있다. Bayer, 3라인, 프리즘 카메라는 모두 빛을 다르게 전달하기 때문에 광 감도 역시 다르다.
예를 들어 Bayer 필터의 경우 광학 프리즘에 사용되는 고급 유리보다 낮은 광 투과율을 제공하는 재료로 만들어질 뿐만 아니라 모자이크 방식으로 인해 각 픽셀에 떨어지는 파장의 1/3 밖에 감지할 수 없다.
주어진 픽셀의 정확한 색상에 따라 필터를 통과하는 빛의 절반 이상이 센서에 도달하지 못할 수도 있다. 시스템에서 작동할 조명 수준과 허용 가능한 이득/노이즈 수준에 따라 애플리케이션에 가장 적합한 카메라를 선택할 수 있다.
- 화이트 밸런싱 및 노이즈
색상이 사용되는 모든 머신 비전 애플리케이션에는 화이트 밸런싱이 필요하다. 시스템에서 사용 중인 조명의 스펙트럼에 맞춰 조정된 기준선 없이는 트루 컬러 값을 정확하게 캡처할 수 없다. 선택한 머신 비전 카메라 타입에 따라 화이트 밸런싱 방식이 달라질 수 있다.
예를 들어 Bayer 및 3라인 카메라의 경우 가장 응답이 높은 채널에 맞추기 위해 3개 색상 채널 중 2개에 이득(증폭)을 추가하는 방식으로만 화이트 밸런스를 맞출 수 있다. 그러나 이득을 추가하면 신호뿐만 아니라 이미지의 노이즈도 증가한다. 전반적인 저조도 조건으로 인해 추가 이득이 필요한 경우 이 기준선에 추가된다. 초저 노이즈가 요구되는 경우 이러한 요소를 해결하려면 빛의 양을 늘리거나 다른 카메라 타입으로 전환해야 할 수 있다.
반면에 프리즘 카메라는 셔터 속도와 이득을 포함한 각 센서의 독립적인 제어를 제공한다. 이를 통해 응답이 낮은 두 채널의 노출 시간을 늘리거나 응답이 가장 높은 두 채널의 노출 시간을 단축하는 것처럼 셔터 속도를 사용해 화이트 밸런싱을 할 수 있게 된다.
더 긴 노출을 사용하면 노이즈가 약간 증가할 수 있지만 증가량은 이득을 적용할 때보다 훨씬 적다. 일부 애플리케이션의 경우 이러한 노이즈 감소는 프리즘 카메라 기술을 사용하는 주요 이유가 될 수 있다.
- 색상 아티팩트
색상 아티팩트란 이미지의 색상 정보가 추출되는 방식으로 인해 발생하는 이미지 결함(보통 잘못된 색상의 픽셀 또는 패턴)이다. 추정 또는 보간을 사용하여 색상을 계산하는 카메라의 경우 색상 아티팩트가 발생할 가능성이 가장 높다.
그러나 독립적인 R, G, B 값(보간되지 않음)을 생성하는 3라인 카메라의 경우에도 키스톤 효과, 고르지 않은 표면 또는 약간의 타이밍 변화로 인한 공간 오프셋으로 인해 색상 아티팩트가 발생할 수 있다. 프리즘 카메라의 경우 3개의 개별 센서가 있고 단일 광학 평면을 사용하여 이미지를 캡처하기 때문에 색상 아티팩트가 발생할 가능성이 매우 낮다. 색상 아티팩트의 가장 일반적인 유형은 다음과 같다.
• 색상 앨리어싱(aliasing)
색상 앨리어싱이란 픽셀 수준에서 이미지를 검사할 때 특정 색상(예: 진한 청색 사선)이 있는 개체의 라인이나 엣지에서 엣지를 따라 적색 또는 황색 픽셀이 나타나는 것과 같이 다른 색상이 나타나는 상황을 말한다. Bayer 카메라의 경우 각 픽셀에 RGB 값을 할당하기 위해 사용되는 보간 기술이 라인이나 엣지와 완전히 다른 색상을 가질 수 있는 주변 픽셀을 혼합해서 사용하기 때문에 색상 앨리어싱 문제가 가장 일반적으로 나타난다.
• 무아레 패턴
싱글 엣지 또는 라인을 캡처할 때 발생하는 문제 외에도 이미지에 미세한 반복 패턴이 포함된 경우 대규모 앨리어싱으로 인해 무아레 패턴이 나타날 수 있다. 이 효과는 높은 공간 주파수를 캡처해야 하는 경우 모든 카메라에서 발생할 수 있지만 Bayer 카메라의 경우 보간 기술로 인해 그보다 더 많이 발생한다.
- 해상도에 미치는 영향
컬러 머신 비전 시스템에 필요한 해상도 수준을 결정할 때는 흑백 시스템의 경우보다 특별한 주의가 필요하다. Bayer 보간과 같은 색상 기술이 카메라의 유효 해상도를 크게 감소시키기 때문이다. Bayer 카메라가 500만 픽셀(5메가픽셀)을 가지는 경우에도 보간 프로세스가 다수의 작은 디테일을 "평균화"하기 때문에 전체 픽셀 수의 1/3에서 1/2 정도로 유효 해상도를 렌더링하게 된다.
애플리케이션이 감지/분석할 수 있어야 하는 최소 크기와 커버되는 시야의 크기에 따라 두 가지 방안 중 선택할 수 있다.
위의 정보는 에어리어 스캔 해상도에만 적용된다. 라인 스캔 시스템의 경우 3라인 카메라와 프리즘 카메라 모두 보간을 사용하지 않기 때문에 유효 해상도가 크게 감소하지 않는다. 그러나 라인 스캔 카메라 섹션에서 논의된 일부 문제는 프리즘 카메라의 단일 광학 평면과 작은 디테일을 식별하는 3라인 카메라 기능에 영향을 미칠 수 있다.
1. 비슷한 흑백 시스템에서 사용하는 것보다 훨씬 더 높은 해상도의 Bayer 카메라를 선택할 수 있다. 물론 이 경우 일반적으로 더 높은 가격, 더 비싼 광학 장치, 호스트 컴퓨터의 더 높은 처리 부하가 동반된다.
2. 흑백 시스템에서 사용하는 것과 거의 동일한 기본 해상도를 가진 프리즘 카메라를 선택할 수 있다. 3.2메가픽셀 프리즘 카메라는 실제로 3개의 개별 이미지 센서가 있는 3 x 3.2메가픽셀(총 9.6메가픽셀) 카메라이다. 따라서 Bayer 카메라와 동일하게 해상도 손실 없이 24bit, 3.2메가픽셀 출력을 생성할 수 있다.
위에서 언급했듯이 프리즘 카메라는 Bayer 카메라보다 더 비싸다. 그러나 9메가픽셀 Bayer 카메라를 사용하는 데 필요한 모든 관련 비용을 고려하면 전체 가격 차이는 훨씬 작아진다.
- 색 공간 및 색 공간 변환
머신 비전 시스템을 개발하는 경우 특정 애플리케이션에 가장 적합한 색 공간을 결정해야 한다. 정확한 색 공간은 애플리케이션이 수행하려는 작업과 색 정보를 분석하는 방법에 따라 달라진다.
예를 들어, 단순히 화면에 개체를 표시하는 애플리케이션의 경우 모든 모니터가 픽셀의 색상을 구성하는 방식인 표준 RGB 색상 공간을 자연스럽게 사용하게 된다. 반면, 인쇄물을 처리하는 경우에는 더 많은 종류의 디지털 인쇄 맞춤 색상을 제공하는 Adobe RGB와 같이 약간 수정된 색상 공간이 더 나은 선택일 수 있다.
HSI(색조, 채도, 강도) 및 CIE XYZ 또는 CIE L*a*b * 색상 공간과 같은 기타 색상 공간의 경우 수학 좌표를 사용하여 특정 애플리케이션이 각도와 방향 면에서 색상 매치 및 색상 분산을 더 쉽게 계산할 수 있는 방식으로 색상을 나타낸다.
대부분의 애플리케이션의 경우 호스트 컴퓨터의 알고리즘과 처리 리소스를 사용하여 카메라에서 들어오는 RGB 데이터를 애플리케이션에 가장 적합한 색 공간으로 변환한다. 그러나 호스트 처리 리소스가 다른 작업에 집중하는 동안 카메라가 이 변환을 대신 수행하는 것을 선호하는 경우도 있다. 이러한 경우 색 공간 변환 기능이 내장된 카메라를 선택하는 것이 좋다.
- 색상 향상 및 색상 최적화
의도적으로 색상의 정확도를 변경하는 것이 중요한 경우들이 있다. 그런 경우, 머신 비전 시스템을 개발할 때 색상 향상 및 최적화 기능을 고려해볼 수 있다.
예를 들어 이미지에서 특정 편차를 감지하거나 두 물체를 서로 구별하려는 경우, 때로 이런 기능을 통해 이미지의 특정 색상을 향상시킬 수 있다. 예를 들어, 이미지에서 적색을 강조하면 조직에서 혈액 세포를 더 쉽게 구별할 수 있게 된다.
JAI
이 기사는 연재물 마지막 부분입니다.
자료 제공: JAI(www.jai.com/kr)
