머신 비전의 컬러 이미징: 애플리케이션에 적합한 카메라를 선택하는 방법 ①
JAI
서론
지난 몇 년 동안 대부분의 머신 비전 시스템은 흑백으로만 작동했다. 지금까지도 대부분의 머신 비전 애플리케이션은 여전히 흑백으로 이루어져 있다. 그러나 컬러 이미징이 필요하고 컬러 이미징의 장점을 살릴수 있는 애플리케이션이 점점 더 증가하고 있다.
지난 10년 동안 머신 비전 애플리케이션에서 컬러를 사용하는 비중이 크게 증가했다. 이는 컬러 머신 비전 애플리케이션을 지원하기 위해 카메라 기술과 알고리즘을 꾸준히 개선한 결과이다. 결과적으로, 많은 머신 비전 시스템 설계자들이 컬러를 중요한 요소로 사용하는 시스템을 구축하기 시작하면서 새로운 도전에 직면하게 되었다.
본 기술 가이드를 통해 머신 비전 컬러 이미징의 고유한 특성에 대해 자세히 알아보고 애플리케이션 요건에 가장 적합한 컬러 이미징 머신 비전 기술이 무엇인지 확인해볼 수 있다.
Chapter 1 머신 비전 카메라의 컬러 이미징
최근 몇 년 동안 컬러 머신 비전 시스템의 품질은 크게 향상되었다. 이는 카메라 이미지 장치의 해상도가 높아졌기 때문이기도 하다. 이미지 센서는 실제로 색상을 "볼" 수 없기 때문에 컬러 카메라는 컬러 이미징 정보를 도출할 수 있는 방식으로 빛을 캡처하기 위해 필터 어레이 및 기타 기술을 사용해야 한다.
그러나 이 프로세스는 일반적으로 이미지의 유효 해상도를 낮추게 된다. 2메가픽셀 이하의 해상도를 갖춘 카메라가 대부분이었을 때는 표준 싱글 센서 컬러 카메라의 해상도 페널티로 인해 많은 작업에 적합하지 않았다. 현재 5메가픽셀 이상의 해상도를 가진 카메라가 보편화되면서 해상도 페널티 문제가 줄어들어 머신 비전 설계자들이 컬러 카메라를 사용하여 필요한 이미지를 보다 쉽게 구현할 수 있게 되었다.
센서 기술이 개선됨과 동시에 소프트웨어 라이브러리와 카메라 펌웨어 역시 컬러 이미징 요건에 맞춰 향상되었다. 과거에는 컬러 머신 비전 시스템을 설계하기 위해 컬러 과학과 컬러 이미지 데이터를 작업하는 방법에 대한 광범위한 지식이 필요했지만, 고급 소프트웨어 라이브러리와 내장 카메라 기능을 통해 프로세스를 단순화할 수 있게 되면서 과거보다 쉽게 컬러 작업을 수행할 수 있게 되었다.
머신 비전의 컬러 이미징 애플리케이션
머신 비전에서 컬러 이미징을 사용하게 되면 다양한 애플리케이션에 큰 도움이 된다. 이러한 컬러 이미징 애플리케이션은 대부분은 세 가지로 나뉜다.
- 색상 검사
컬러 이미징은 검사 프로세스를 최적화할 수 있는 추가 데이터를 제공할 수 있다. 특히 불량을 분류하거나 색이 있는 제품의 형태를 확인하는 것이 목적인 경우 컬러 이미징의 사용은 매우 중요하다. 예를 들어 색상으로 구분된 전선을 검사하는 경우, 각 전선이 보드의 올바른 커넥터에 연결되어 있는지 확인하기 위해서는 머신 비전 시스템이 전선의 색을 읽고 색이 일치하는지 확인할 수 있어야 한다.
- 색상 분류
머신 비전의 컬러 이미징은 색상에 따라 항목을 구분하기 위해 사용할 수도 있다. 즉, 컬러 이미징을 사용해 개체를 색상에 따라 구분하거나 분류할 수 있다. 더 나아가 특정 개체의 등급을 매기기 위해 사용할 수도 있다. 예를 들어, 체리, 사과 및 기타 과일의 익은 정도를 색상에 따라 분류할 수 있다.
- 색상 감지 및 매칭
색상 감지는 카메라가 보고 있는 색상을 가르치는 것을 목표로 한다. 애플리케이션이 컬러 머신 비전 카메라에서 전송되는 데이터를 사용하기 위해서는 우선 호스트 컴퓨터가 색상 값을 각 픽셀과 연결하거나 픽셀의 영역 또는 색 부분을 나타내는 히스토그램에 연결해야 한다. 애플리케이션이 색상 값을 할당하면 호스트 컴퓨터가 그 값을 타겟 색상 또는 타겟 색상 값 범위와 비교할 수 있다.
이러한 매칭 프로세스는 인쇄물이 기업의 전용 색상과 일치하는지 확인하거나 자동차의 사이드 미러의 색상이 도어 패널과 일치하는지 확인하는 것과 같이 다양한 애플리케이션에서 사용될 수 있다.
컬러 이미징의 주요 과제
컬러 머신 비전 시스템이 위에 나열된 넓은 범주의 애플리케이션에서 얼마나 사용할수 있는지는 몇 가지 주요 과제를 해결할 수 있는 능력에 따라 달라진다.
- 색상 정확도
머신 비전 컬러 카메라는 장면에서 들어오는 반사광 또는 입사광에 의해 생성된 픽셀 수준 데이터를 호스트 컴퓨터에 제공한다. 두 대의 카메라 모두 "괜찮은" 이미지를 생성할 수 있지만 카메라의 타입, 품질 및/또는 수명에 따라 특정 픽셀 값이 다를 수 있다. 목표는 동일한 조명 조건에서 정밀한 실험실 장비를 사용하여 계산된 "트루" 색상 값에 가장 근접한 값을 만드는 것이다.
- 색상 구별
애플리케이션에 따라 머신 비전 카메라가 동일한 색상의 섬세한 차이를 구별할 수 있는지 여부가 중요할 수 있다. 예를 들어 여러 가죽 조각을 사용하여 지갑이나 재킷을 만드는 경우 한 항목의 모든 조각이 동일한 색조를 갖는 것이 중요하다. 약간 다른 색조의 조각은 다른 재킷이나 지갑에 함께 사용할 수 있지만 한 항목에 다른 색조를 혼합하는 것은 허용되지 않는다.
- 컬러 카메라의 공간 해상도
흑백 애플리케이션과 마찬가지로 많은 컬러 애플리케이션에서 작업을 수행하기 위해서는 작은 이미지 디테일을 구별할 수 있어야 한다. 바코드나 QR코드를 읽어야 할 수도 있으며 측정을 하거나 모양과 위치를 결정하기 위해 개체의 엣지를 정확히 식별해야 할 수도 있다.
앞서 언급했듯이 색상 정보를 도출하기 위해 색상 필터 어레이와 Bayer 보간을 사용하는 카메라의 경우 각 픽셀의 색상 값을 추정하기 위해 사용되는 프로세스로 인해 엣지가 부드러워지거나 흐릿해진다. 일부 애플리케이션의 경우 이러한 디테일 손실이 허용되거나 고해상도 카메라를 사용하여 극복할 수 있지만 다른 애플리케이션의 경우 필요한 색상 정확도와 공간 정밀도 조합을 구현하기 위해 프리즘 카메라 기술을 사용해야 할 수도 있다.
CHAPTER 2 에어리어 스캔 카메라 vs. 라인 스캔 컬러 카메라
카메라 옵션 평가를 시작하기 전에 먼저 에어리어 스캔 또는 라인 스캔 타입 중 어떤 카메라가 애플리케이션에 더 적합한지 결정해야 한다.
에어리어 스캔 컬러 카메라
에어리어 스캔 카메라는 일반적으로 검사, 분류 또는 분석되는 항목이 명확한 모양이나 경계를 가지는 경우에 사용한다. 예를 들어 과일, 상자 또는 인쇄 회로 기판과 같은 개별 3차원 항목을 검사해야 하는 경우 픽셀 매트릭스를 사용하여 각 개체의 2D 이미지를 생성하는 에어리어 스캔 카메라를 선택하는 것이 가장 좋다.
- 에어리어 스캔 카메라는 정의된 영역의 이미지를 매우 빠르게 생성할 수 있다.
- 에어리어 스캔 카메라는 라인 스캔 카메라보다 설정 및 설치가 쉬우며 더 일반적인 용도로 사용한다.
- 일부 상황에서 연속적으로 움직이는 개체를 이미징하기 위해 에어리어 스캔 카메라를 사용할 수 있지만 별개의 겹치는 이미지 캡처를 통해서만 가능하다. 이 경우 적절한 분석을 위해 조각들을 "엮으려면" 처리하기 위해 상당한 노력이 필요할 수 있다.
라인 스캔 컬러 카메라
라인 스캔 카메라는 길고 연속적인 항목 또는 길이나 크기가 다양한 항목을 검사해야 하는 경우 가장 효과적이다. 개체의 시작, 끝 또는 크기가 정확히 정의되지 않은 애플리케이션의 경우 라인 스캔 카메라가 가장 적합하다.
예를 들어, 종이롤, 직물 또는 강철을 검사하는 "웹" 검사의 경우 라인 스캔 카메라를 선택해야 한다. 마찬가지로 무작위로 배열된 과일이나 농산물로 채워진 컨베이어 시스템이나 숲이나 농경지를 비행하는 항공 이미징 역시 라인 스캔 카메라를 사용하기에 적합한 애플리케이션이다.
- 라인 스캔 카메라는 고주파에서 픽셀의 한 라인을 반복적으로 캡처하여 움직이는 개체를 스캔한다.
- 카메라가 캡처하는 연속적인 "선형 이미지"는 캡처되는 즉시 분석하거나 소프트웨어를 통해 더 큰 이미지로 한 라인씩 재구성한 뒤 분석할 수 있다.
- 라인 스캔 카메라는 연속적으로 작동하기 때문에 수직 해상도가 사실상 "무제한"이며 에어리어 스캔 카메라보다 훨씬 더 높은 전체 해상도로 2차원 이미지를 쉽게 구성할 수 있다.
CHAPTER 3 에어리어 스캔 컬러 카메라
애플리케이션에 에어리어 스캔 카메라가 적합하고 머신 비전 시스템에 컬러를 통합해야 하는 경우 컬러 이미징을 위해 고려할 수 있는 에어리어 스캔 옵션은 Bayer 모자이크 기술과 프리즘 기반 멀티 센서 기술이 있다.
- Bayer 모자이크 기술
Bayer 카메라는 카메라 이미지 장치에 픽셀을 오버레이하는 사전 정의된 컬러 필터 패턴을 사용한다. 특정 픽셀에 대한 적색, 녹색, 청색(RGB) 색상 값을 계산하기 위해서는 주변 픽셀을 확인하여 해당 픽셀 필터로 캡처되지 않은 두 색상의 값을 추정하는 보간 프로세스가 필요하다.
- Bayer 컬러 카메라를 선택해야 하는 경우
• 카메라 가격이 결정에 중요한 요소인 경우
Bayer 컬러 카메라는 프리즘 카메라보다 훨씬 저렴하다. 사용자는 3.2메가픽셀 프리즘 카메라 가격의 절반도 안 되는 가격으로 좋은 기본 5메가픽셀 Bayer 에어리어 스캔 카메라를 구입할 수 있다.
• 머신 비전 시스템에 뛰어난 색상 정확도가 필요하지 않은 경우
Bayer 카메라의 경우 각 픽셀에서 3개 색상 값 중 2개를 "보간"(즉, 추정)해야 하기 때문에 Bayer 알고리즘에 의해 계산된 RGB 값과 타겟 장면의 "트루" 색상 값 사이에 눈에 띄는 차이가 있을 수 있다. 색상을 정확하게 캡처하여 사전 정의된 레퍼런스 색상과 비교해야 하는 어플리케이션의 경우는 Bayer 데이터의 낮은 정확도로 인해 문제가 발생할 수 있다.
그러나 색상의 상대적인 정확도만 필요한 경우(즉, 이미지의 한 색상을 다른 색상과 비교하는 경우) Bayer 카메라를 사용해도 충분하다.
• 애플리케이션에서 섬세한 색상 구분이 필요하지 않은 경우
Bayer 필터는 절대 색상 정확도가 낮을 뿐만 아니라 각 픽셀에 떨어지는 빛의 일부를 차단하기 때문에 전반적인 유효 감도 수준이 낮다. 이러한 요소는 일반적으로 매우 섬세한 색상 음영을 구별하는 Bayer 카메라의 능력을 감소시킨다. 그러나 상대적으로 낮은 수준의 색상 구분이 필요한 애플리케이션의 경우 더 낮은 가격대의 Bayer 카메라로도 충분할 수 있다.
• 머신 비전 시스템에 높은 수준의 공간 정밀도가 필요하지 않은 경우
위에서 언급했던 것과 같이 Bayer 카메라에서 사용하는 보간 프로세스는 이미지의 엣지, 라인 및 작은 인쇄에 영향을 주어 전체적인 디테일 손실을 유발한다. 설계 중인 시스템에 뛰어난 공간 정밀도가 필요하지 않거나 고해상도 카메라를 사용하기 위해 필요한 더 높은 비용과 처리 간접비용을 감당할 수 있는 경우 Bayer 에어리어 스캔 카메라는 여전히 애플리케이션을 위한 올바른 선택이 될 수 있다.
- 프리즘 기반, 멀티 센서 기술
멀티 센서 프리즘 카메라는 이색성 필터로 코팅된 고품질 프리즘을 사용하여 스펙트럼 파장에 따라 입사광을 3개의 개별 이미지 장치로 분리한다. 정밀하게 정렬된 3개의 센서는 보간 없이 이미지의 각 픽셀에 대한 독립적인 적색, 녹색, 청색의 색상 값을 제공한다.
- 멀티 센서 프리즘 카메라를 선택해야 하는 경우
• 가능한 최고의 색상 정확도가 필요한 경우
프리즘 카메라는 3개의 개별 이미지 장치를 사용하여 각 픽셀에 대한 정확한 R, G, B 값을 제공한다. 보간이 없다는 것은 애플리케이션에 전달되는 값이 Bayer 카메라에서 제공되는 값보다 더 정확하다는 것을 의미하며 이는 색상 매칭 또는 섬세한 음영 차이를 구별하기 위해 매우 중요할 수 있다.
• 애플리케이션에 높은 수준의 카메라 감도가 필요한 경우
이색성 프리즘 필터는 Bayer 필터보다 빛 투과율이 높기 때문에 입사광이 더 많이 통과할 수 있다. 또한 프리즘 카메라는 3개의 센서를 사용해 카메라에 들어오는 거의 모든 빛을 캡처하는 반면 Bayer 카메라는 각 픽셀에 도달하는 파장의 2/3를 차단한다. 대부분의 픽셀은 적색, 녹색, 청색 정보의 조합으로 표시되기 때문에 입사광의 상당량이 Bayer 카메라 센서에 도달하지 못한다. 이러한 이유로 이미지의 어두운 영역에서 더 우수한 대비와 구분이 필요한 경우 프리즘 카메라가 유리하다.
• 작은 디테일을 감지하고 측정하려는 경우
Bayer 보간 이미지의 엣지, 인쇄 및 디테일을 흐릿하게 하는 "부드러움"과 달리 프리즘 기술은 보간할 필요가 없기 때문에 텍스트 또는 작은 이미지 특징을 읽거나 측정하거나 분석하는 애플리케이션에 더 우수한 공간 정밀도를 제공한다.
• 전체 스펙트럼 범위에서 정확하고 선명한 색상이 필요한 경우
카메라는 사람의 눈처럼 가시광선을 긴(적색) 파장, 중간(녹색) 파장, 짧은(청색) 파장을 나타내는 3개의 개별 스펙트럼 대역으로 분리한다. 프리즘 카메라는 이 3개의 대역을 거의 겹치지(색상 혼선(crosstalk)이라고 함) 않게 분리할 수 있다. 이를 통해 프리즘 카메라에서 스펙트럼 범위 전체의 색상을 선명하고 밝게 유지하는 것과 달리 필터가 훨씬 더 많이 겹치는 Bayer 카메라의 경우 특히 삼원색 사이에 있는 색상이 더 흐릿해지거나 탁해지게 된다.
• 일부 카메라 매개변수에 대해 더 큰 유연성이 필요한 경우
많은 멀티 센서 프리즘 카메라에서 사용자는 마치 3개의 개별 카메라를 사용하는 것처럼 각 센서의 설정을 제어할 수 있다. 이는 화이트 밸런싱, 색상 향상 및 기타 기능에 Bayer 카메라에서 가능한 것보다 더 큰 유연성을 제공한다.
자료 제공: JAI(www.jai.com/kr)
