머신비전 산업의 이미징 기술, ‘CI(Computational Imaging; 컴퓨터 이미징)’ ②
지난 호에서 설명한 CI(Computational Imaging; 컴퓨터 이미징) 기술의 기본 원리는 다양한 방식으로 적용될 수 있으며 다양한 이미징 기술을 제공한다. 이들은 모두 머신 비전 애플리케이션에서 발생하는 많은 실제 문제에 대한 강력한 대안 및 매우 효과적인 솔루션을 제공할 수 있다. 이 유능한 접근 방식은 시스템 설계자가 이미 사용 가능한 방법론 외에도 까다로운 이미징 문제를 해결 하기 위해 새로운 방식으로 생각할 수 있음을 의미한다.
포토메트릭 스테레오
포토메트릭 스테레오는 ‘Shape from Shading’으로도 알려져 있으며 개체의 모양을 2D 텍스처 또는 표면 색상과 분리하는 데 사용되는 기술이다. 일반적으로 형상 이미지로 알려진 하나의 이미지에서 3D 표면 특징 또는 결함을 강조하고 텍스처 이미지로 알려진 반사율이 높은 부분에서 눈부심을 제거하는데 사용된다.
일반적으로 객체는 4개의 90˚ 사분면이 있는 링조명 또는 4개의 막대조명 배열 또는 방향성 조명을 생성하는 기타 구성을 사용하여 4개의 다른 방향에서 순차적으로 조명을 받는다.
셰이딩 소프트웨어의 모양은 4개의 이미지를 처리하여 모양 및 텍스처 이미지를 생성한다. 모양 이미지는 동일한 소스 이미지에서 모든 기여를 제거하여 생성되며 그림자로 인한 차이가 남는다. 이것은 긁힘, 찌그러짐, 핀 구멍, 융기 인쇄 또는 새겨진 문자와 같은 3D 표면 세부 사항을 향상시킨다. 3D 구조가 있지만 대비가 거의 또는 전혀 없는 표면에 특히 효과적이다. 텍스처 이미지는 이미지에서 서로 다른 영역(각 방향에서 오는 빛)을 제거하여 생성된다. 이것은 표면 구조에서 간섭을 제거하고 눈부심을 없앤다. 다음 예는 포토메트릭 스테레오를 사용하여 읽기용 제약 패키지에서 점자 정보를 추출하는 방법을 보여준다.
위에 표시된 의약품 패키지 이미지에서 점자는 부분적으로만 식별할 수 있다.
위에 표시된 패키지의 4방향 이미지에서 셰이딩 알고리즘의 셰이프를 사용하여 셰이프 이미지를 생성할 수 있다. 계산된 모양 이미지는 점자 문자를 나타낸다. 그런 다음 개체 세분화(블롭 분석)를 포함한 표준 머신 비전 기술을 사용하여 추가로 처리할 수 있다. 그 결과 불완전한 도트는 OCR 방법으로 읽을 수 있도록 완벽한 도트로 변환될 수 있다.
그런 다음 텍스트를 패키지의 원래 텍스트와 비교할 수 있다.
초고해상도 컬러 이미징
초고해상도 컬러 이미징은 RGB 조명과 흑백 이미지 센서를 사용하여 고해상도 합성 컬러 이미지를 생성하는 기술이다. 합성 컬러 이미지는 센서의 모든 픽셀이 이미지를 형성하는데 사용되기 때문에 Bayer 또는 모자이크 컬러 카메라로 단일 이미지 캡처로 생성된 이미지보다 훨씬 더 선명하다. Bayer 필터 사용으로 인한 픽셀 보간이 없다. 이미지는 비용, 특수 프리즘 또는 렌즈 제한 없이 3칩 카메라의 이미지와 유사한 품질이며 사용 가능한 3칩 카메라 보다 훨씬 높은 해상도이다.
빨간색, 녹색, 파란색 출력의 3채널 제어 기능이 있는 풀컬러 링 조명과 흑백 카메라를 사용하여 각각 빨간색 조명, 녹색 조명 및 파란색 조명을 사용하여 3개의 흑백 이미지 시퀀스를 생성할 수 있다. 이러한 이미지는 정렬될 수 있으며 합성 컬러 이미지 는 3개의 이미지에 있는 각 등가 픽셀의 그레이 레벨 값 비율에서 계산된다. 적절한 화이트 밸런스는 뉴트럴 화이트 타겟(neutral white target)을 이미징하는 동안 각 색상 채널의 크기를 조정하여 달성할 수 있다.
이러한 방식으로 세개의 8비트 흑백 이미지가 결합되어 센서의 전체 해상도에서 24비트 컬러 이미지를 형성한다. 합성 이미지에서 전체 해상도를 사용할 수 있는 이점은 더 높은 배율 검사를 위해 이미지를 디지털로 확대할 때 더욱 강조된다. 동등한 Bayer 컬러 이미지에 비해 가장자리가 훨씬 더 선명하게 나타나고 대비와 색상이 개선되며 노이즈가 줄어든다. 또한 빨간색 및 녹색 앨리어싱과 같은 다른 아티팩트가 제거된다.
적절한 하드웨어를 사용하면 실용적인 데이터 속도로 초고해 상도 컬러 이미징을 달성할 수 있다. 예를 들어, CXP4 프레임 그래버가 있는 12MP CXP4 유형 흑백 카메라를 사용하면 카메라는 3개의 프레임 시퀀스(R,G,B)에서 12MP에서 180fps로 실행될 수 있으며 풀 컬러 조명은 R, G, B를 순차적으로 스트로빙한다. 이 프로세스의 출력은 초당 60프레임의 24비트 12MP 풀 컬러 이미지이다.
HDR (HIGH DYNAMIC RANGE IMAGING)
이 기술은 보다 균일한 조명 이미지를 생성하기 위해 극단의 대비가 제거된 이미지를 만드는데 사용된다. 이미지의 동적 범위는 단일이미지에서 구별할 수 있는 가장 밝은 물체와 가장 어두운 물체의 비율을 정의한다. 그러나 많은 머신 비전 장면에는 일반적인 동적 범위를 초과하는 극단적인 대비가 포함되어 있다. 이 경우 카메라게인 또는 노출을 줄여서 가장 밝은 영역이 제대로 이미지화될 수 있도록 하면 다른 영역은 너무 어두워진다.
반대로 어두운 영역을 이미징하기 위해 게인 또는 노출이 증가하면 밝은 영역이 포화된다. CI는 다양한 조명 수준을 사용하여 생성된 일련의 이미지를 획득하고 조합하여 이 문제를 해결할 수 있다. 이는 서로 다른 스트 로브폭을 가진 조명을 사용하여 일련의 이미지를 생성함으로써 달성된다.
짧은 광펄스는 이미지의 가장 밝은 영역(점등 LED)에 대한 세부 정보를 제공하도록 설정되고 긴광펄스는 이미지의 가장 어두운 부분에 대한 세부 정보를 제공하도록 설정된다.
각 소스 이미지의 적절한 조명 부분이 결합되어 다이내믹레인지가 더 높은 단일 이미지를 형성한다. 이 방법은 모든 조명 소스와 함께 사용할 수 있다. HDR 이미지를 생성하기 위해 카메라 노출을 변경하는 것에 대한 강력한 대안이다. 이미지의 어두운 부분에 긴 카메라 노출을 사용하면 합성 이미지에 노이즈가 생길 수 있다.
명시야/암시야 이미징
이 CI 방법은 서로 다른 조명 기술의 장점을 결합하여 두 가지 방법으로 생성된 기능을 단일 이미지에 표시한다. 명시야(동축) 및 암시야(낮은 각도) 조명은 물체에 대한 서로 다른 유형의 정보를 드러내는 경향이 있다. 특히 암시야 이미징은 스크래치, 패인곳 및 미세한 입자와 같은 표면 정보를 강조 표시한다.
CI 기술을 사용하면 명시야 및 암시야 소스를 사용하여 이미지를 얻을 수 있으며 단일 합성 이미지로 결합할 수 있다. 여기서 명시야 이미지는 물방울과 더 큰 입자를 보여주지만 표면 세부 사항은 보여주지 않는다.
DOF 확장
머신 비전 애플리케이션에서 경험하는 일반적인 어려움은 높이가 다르거나 렌즈에서 거리가 다른 물체를 이미징할 때 피사계 심도가 불충분하다는 것이다. 이 문제에 대한 일반적인 해결책은 조리개를 조이는 것이지만 이렇게 하면 이미지 센서에 도달하는 빛의 양이 크게 줄어들어 특히 움직이는 구성 요소에서 노이즈가 많은 이미지가 생성된다. 또한 렌즈조리개가 좁아지면 해상도가 손실된다. CI는 이러한 문제를 극복하고 다른 기술 중에서 액체 렌즈 또는 다중 스펙트럼 광원을 사용하여 확장된 피사계 심도를 생성하는데 사용할 수 있다.
▶ 액체 렌즈 방식 : 액체 렌즈는 전류를 인가하여 밀리초단위로 초점을 다시 맞출 수 있기 때문에 일련의 이미지를 생성할 수 있다. 여기서 각 이미지에 대해 액체 렌즈 컨트롤러의 전류는 하나의 적절한 초점으로 설 정된다. 이미지의 구성 요소이다.
4개의 개별 이미지에는 각각 레이블 중 하나에 선명하게 초점이 맞춰져 있다. 각 이미지의 이러한 ‘초점’ 부분을 결합하여 모든 라벨에 동시에 초점을 맞춘 합성 이미지를 형성할 수 있다.
이 접근 방식은 빛과 해상도의 손실을 방지하며 모든 광원을 사용하여 수행할 수 있다. 깊이 범위가 있는 3D 애플리케이션의 경우 telecentric 렌즈는 대부분의 경우 원근 왜곡을 최소화하는데 가장 적합하다. 일반 렌즈의 경우 왜곡을 최소화하기 위해(50㎜ 이 상) 더 긴 작동 거리에서 더 긴 초점 거리를 사용하는 것이 좋다.
▶ 다중 스펙트럼 광원: 색수차가 보정되지 않은 렌즈는 서로 다른 작동 거리에서 서로 다른 파장에 초점을 맞추게 되며 이는 피사계심도를 확장하기 위한 기초로 사용될 수 있다. 개체는 여러 파장을 사용하여 순차적으로 이미지화되며 응용 프로그램에 따라 UV에서 NIR까지 확장될 수 있다. 각 파장에 대한 이미지는 초점이 서로 다르다.
위와 같이 각 이미지의 초점이 맞는 부분을 결합하여 완전히 초점 을 맞춘 합성 이미지를 형성할 수 있다.
멀티 스펙트럼 이미징
멀티스펙트럼 이미징은 중요한 특징을 동시에 표시하기 위해 합성 이미지로 결합될 수 있는 파장별 정보를 포함하는 일련의 이미지를 생성하기 위해 CI에서도 사용할 수 있다. 일반적으로 이는 관심 있는 기능이 UV, 가시광선 및 IR 스펙트럼 영역에서 보일 때 가장 잘 작동한다.
여기에 제공된 예에서 가시 영역은 호일 포장의 인쇄를 검사하는데 사용되며 UV는 염료 표시를 확인하는 데 필요하며 NIR 광은 인쇄를 통해 핀프릭 및 기타 호일 파손을 확인하는데 도움이 될 수 있다. 가중 필터를 사용하면 단일 합성 이미지를 생성하여 각 스펙트럼 영역의 정보를 표시할 수 있다. 출력 이미지는 단색이지만 의사 색상을 적용하면 인쇄, UV 염료 및 핀프릭 구멍 간의 대비가 강조 표시된다.
출력 이미지는 단색이지만 의사 색상을 적용하면 인쇄, UV 염료 및 핀프릭 구멍 간의 대비가 강조 표시된다.
CI기술 채택 더욱 가속화 될 것
Multi-shot 접근 방식을 사용하는 CI의 기본 원리는 다양한 조명 및 광학 구성에 적용하여 광범위한 대체 이미징 방법을 제공할 수 있다. 또한 이러한 기술이 상호 배타적일 필요는 없다는 점에 유의해야 한다. 올바른 조명 구성을 설정할 수 있는 경우 시스템은 다양한 CI 시퀀스를 실행하도록 프로그래밍할 수 있다. 예를 들어, 동일한 구성 요소에서 다중 스펙트럼이미징 및 광도 스테레오이미징을 연속적으로 수행할 수 있다.
개발자와 사용자 모두에게 이점이 있는 CI 기술은 머신 비전 산업에서 점차 보편화되고 있으며 머신 비전 제조업체는 호환 가능한 하드웨어 및 소프트웨어로 이러한 추세에 대응하고 있다. CI를 가능하게 하는 기술은 지속적으로 개선될 것이다. CI는 머신 비전에서 발견되는 많은 문제에 대한 강력한 솔루션을 제공하며 단일 샷 이미징을 대체하기 위한 것은 아니지만 동일한 기본원리에 기반한 새로운 변형이 계속 나타날 것으로 예상된다.
자료제공: CCS America(www.ccsamerica.com)
