머신비전 산업의 이미징 기술, ‘CI(Computational Imaging; 컴퓨터 이미징)’ ①

다기능 이미징 기술

머신 비전 산업은 이미징 방법을 사용하여 얻을 수 있는 정보를 향상시키기 위해 새로운 기술과 새로운 기술을 수용하는 역동적 이고 지속적으로 진화하는 환경이다. 머신 비전 조명의 파장과 방 향이 이미지에서 사용 가능한 정보를 결정하는 데 중요하다는 것은 잘 알려져 있다. 빛의 속성에 따라 대상의 다양한 특징을 강조 하여 표시할 수 있기 때문에, 빛이 대상을 비추는 방식이 바로 카 메라에 어떻게 나타나는지를 결정한다.

CI(Computational Imaging; 컴퓨터 이미징)는 멀티샷 접근 방식을 사용하여 각각 다른 조명 또는 광학 구성을 갖는 일련의 이미지를 획득한다. 각 이미지에서 데이터를 추출하고 결합하여 특정 애플리케이션과 가장 관련성이 높은 세부 정보가 포함된 출 력 이미지를 생성할 수 있다.

이것은 조명, 광학 및 시퀀싱을 적절 하게 선택하여 더 나은 이미지 또는 고유한 특성을 가진 이미지를 생성하여 다양한 이미징 솔루션을 생성할 수 있는 유능한 접근방식이다. 일반적인 예로는 향상된 대비, 더 높은 해상도의 색상, 다 중 스펙트럼 특징, 확장된 피사계 심도, 분할된 3D 정보 및 조합 조명을 제공하는 것 등이 있다.

새로운 이미징 기술의 진화

머신 비전에서 새로운 이미징 기술의 발전은 종종 이미지 처리 속 도의 급속한 발전과 CMOS 센서 기술의 발전을 통해 가능해졌다. 이러한 개발을 통해 일정 기간 동안 알려진 기술을 실제 애플리케 이션에서 사용할 수 있는 저렴하고 실용적인 솔루션으로 전환할 수 있다. 최근의 예로는 3D 이미징(레이저 라인 삼각측량, 스테레오, 구조광, 비행 시간), 편광 이미징 및 SWIR(Short Wave Infra Red), 초분광 이미징 및 테라헤르츠 이미징과 같은 다양한 파장 의 사용을 들 수 있다. 그러나 기본적으로 모든 기술은 빛이 대상 물체와 상호 작용하는 다양한 방식을 활용하려고 한다.

CI의 개요

기존의 영역 스캔 이미징 방법은 고정 조명 및 광학 장치를 사용 하여 카메라 센서의 단일 노출에서 이미지 데이터를 수집한다. 결 과 이미지는 종종 관심 있는 기능을 강조하기 위해 상당한 사후 캡처 이미지 처리가 필요할 수 있지만 여전히 후속 분석을 위한 최적의 이미지를 생성하지 못한다.

CI 접근 방식은 디지털 사진으로부터 발전되었으며 프로그래밍 가능한 조명 및 렌즈 제어 시스템을 사용하여 일반적으로 조명 방향이나 각도, 파장, 강도, 편광 또는 집중한다. 이러한 각 이미지의 최적 구성 요소는 소프트웨어에서 추출되고 결합되어 단일 이미지에서 사용할 수 없는 정보를 포함하는 향상된 품질의 합성 이미지를 생성한다.

그런 다음 이 합성 이미지를 비전 시스템에서 일반적인 방식 으로 측정하고 분석할 수 있다. CI 시스템의 필수 구성 요소는 조명, 광학 장치, 다중 채널 조명 시퀀싱 하드웨어 및 CI 소프트웨어다. 대비(contrast)를 향상 및 초고해상도 색상을 제공 그리고 피 사계 심도를 확장 및 3D 표면 정보를 추출한다.

또한 눈부심을 제 거, 알려진 조명 기술 결합 및 단일 이미지에서 다중 스펙트럼 정 보를 생성하기 위해 많은 CI 도구가 이미 개발되었다. CI는 움직이는 부품에서도 작동하기 때문에 광범위한 머신 비전 애플리케이션에서 어려운 이미징 문제에 대한 솔루션을 생성할 수 있는 새 로운 가능성을 제공한다.

CI를 사용하는 이유

관심 있는 기능이 우수한 대비와 낮은 노이즈로 표시되는 고품질 이미지를 생성하는 것은 머신 비전의 기본 요구 사항이다. 그러나 많은 애플리케이션에서 이러한 이미지를 생성하는 것은 매우 어려울 수 있다. 이미지에 표시되는 세부 사항은 적절한 조명을 사 용한 결과이다. 부적절한 조명으로 인해 이미지에 없는 정보는 처 음에 캡처되지 않은 경우 이미지 처리를 사용하여 추출할 수 없 다. 원본 이미지에 일부 정보가 있더라도 광범위한 사후 캡처 처 리로 인해 후속 머신 비전 평가에 적합하지 않을 수 있는 잡음이 많은 출력 이미지가 생성될 수 있다.

CI는 필요한 세부 정보가 후속 추출을 위해 이미지 시퀀스 내에 실제로 존재하는지 확인하기 위해 다양한 조명 조합을 사용하여 소스에서 이러한 문제를 극복하는 것을 목표로 한다. 이러한 방식으로 최종 이미지 품질을 개선할 수 있으며 경우에 따라 다른 기술로는 불가능한 정보를 표시할 수 있다. 의약품 상자에 대한 코드 검사는 하나의 좋은 예이다.

기존 조명은 UPC와 날짜/로트 코드를 모두 표시하지만 중첩되어 있어 머신 비전 시스템에서 두 코드를 모두 읽는 것이 사실상 불가능하다. 측광 스테레오 컴퓨터 이미징 방법을 사용하면 이 문제를 쉽게 극복할 수 있다.

상자 덮개는 4분할 링 라이트를 사용하여 순차적으로 촬영된 다. 포토메트릭 스테레오 알고리즘은 4개의 이미지를 결합하여 모양 이미지와 상자 덮개의 질감 이미지를 생성하는 데 사용된다. 모양 이미지는 날짜/로트 코드를 명확하게 보여주고 텍스처 이미 지는 UPC 코드를 읽을 수 있도록 한다. 따라서 계산 이미징을 사 용하면 기존 머신 비전 OCR 기술을 사용하여 읽을 수 있는 두 개 의 이미지가 생성된다.

CI는 다양한 구성과 함께 사용하여 다양한 결과를 얻을 수 있기 때문에 매우 다재다능한 기술이다. 다중 촬영 방식을 사용하여 새 이미지를 생성하므로 원칙적으로 단일 촬영 이미징이 사용되는 거의 모든 애플리케이션에 적용될 수 있다.

자동차, 제약, 식품, 의료, 포장, 전자 및 목재 산업에서 작은 표 면 결함 식별, 오버레이된 텍스트 및 바코드 정보 표시, 점자 문자 읽기, 색상 충실도 개선, 핀홀 강조 표시와 같은 다양한 응용 분야 에 대해 이미 시연되었다. 식품 포장 및 동일한 시야에서 높이가다른 물체를 촬영할 때, 동일한 조명 시퀀싱 컨트롤러를 모든 CI 기술에 사용할 수 있지만 조명을 선택하고 사용 중인 특정 방법에 필요한 위치에 조명을 배치할 수 있도록 실용적인 고려 사항이 제 공되어야 한다.

2D 및 3D 이미징 시스템 모두에서 여러 CI 기술을 사용할 수 있다는 추가 이점이 있다. 예를 들어, Active EDOF(Extended Depth Of Field)는 여러 면에서 카메라와 구조광 프로젝터의 초 점을 동시에 재초점하여 구조화 조명을 사용하는 3D 이미징 시 스템에서 피사계 심도를 확장하고 물체 재구성을 개선한다. 3D HDR(High Dynamic Range)은 명암비가 높고 노이즈가 적은 3D 구조화 조명 이미지를 생성하여 다양한 형태의 반사 표면을 가진 물체를 정확하게 재구성할 수 있다.

CI 기술

모든 CI 기술은 서로 다른 조명 또는 광학 조건에서 촬영한 일련 의 이미지를 캡처한 다음 각 이미지에서 관심 있는 특징을 추출하여 최종 이미지로 결합하는 데 의존한다. 사용되는 특정 구성 요소는 사용되는 특정 기술에 따라 다르지만 모든 CI 방법에서 이를 달성하려면 유사한 기본 구성이 필요하다.

이미지 생성

▶프로그래밍 가능한 이미지 획득

프로그래밍 가능한 조명 및 렌즈 제어 시스템은 일반적으로 조명 방향 또는 각도, 파장, 강도, 편광 또는 초점과 같은 애플리케이션 별 매개변수를 변경하는 이미지 캡처 시퀀스를 생성하는 데 사용 된다. 어떤 기술을 사용하든 특정 애플리케이션에 대해 적절한 프 레임 수, 주파수 주기 및 노출 시간으로 이미지 시퀀스를 설정할 수 있어야 한다. 이미지 시퀀싱 하드웨어는 계산 프로세스를 위해 일관된 이미지가 생성되도록 신뢰할 수 있고 반복 가능한 시퀀스 를 생성해야 한다.

▶다양한 애플리케이션 유형에 대한 다양한 구성

다양한 CI 기술이 있으며 최종 이미지 생성을 위해 다양한 조명 유형과 형상 및 다양한 소프트웨어를 사용한다. 예를 들어 포토메 트릭 스테레오는 4개 이상의 방향에서 조명을 사용하여 대상의 패인 형상 주변에 방향성 그림자를 투사한다. 조명은 4개의 90˚사분면이 있는 링 조명, 4개의 막대 조명 배열 또는 방향성 조명 을 생성하는 기타 배열일 수 있다. 초고해상도 컬러 이미징을 위 해 빨강, 녹색 및 파랑 출력의 3채널 제어 기능이 있는 풀 컬러 링 조명을 단색 카메라와 함께 사용하여 이미지의 RGB 구성 요소에 해당하는 3개의 단색 이미지 시퀀스를 생성한다.

라이트 시퀀싱 하드웨어

모든 CI 기술의 중심에는 이미지 캡처를 위한 조명 시퀀스를 만들고 관리하도록 설계된 프로그래밍 가능한 컨트롤러가 있다. CCS Inc.의 LSS‑2404 광시퀀싱 스위치는 이에 대한 훌륭한 예이다. 모든 시야를 커버하는 넓은 영역 검사를 위해 소형 정밀 조명 또 는 대형 고출력 조명과 함께 사용할 수 있다.

미니 강화 PLC 역할 을 하며 단일 프레임에서 이미지 획득과 함께 하나의 동기식 광펄스(또는 액체렌즈 초점)를 지정하여 매우 유연하고 강력한 시 퀀싱을 허용한다. 여러 프레임을 결합하여 시퀀스를 형성할 수 있으며 여러 시퀀스를 하나의 레시피 또는 작업 파일에 결합할 수 있다.

이 컨트롤러에는 4채널 출력이 있다. 다이어그램은 포토메트릭 스테레오 CI의 타이밍 다이어그램을 보여준다. 컨트롤러에 대한 단일 트리거가 시퀀스를 시작한다. 시퀀스와 타이밍이 자동으로 생성된다. 카메라에 동기화된 트리거와 함께 각 조명 채널에서 스트로브 펄스가 전송된다.

컨트롤러는 다중 프레임 시퀀스의 프레임을 통해 자동으로 인 덱싱한다. 포토메트릭 스테레오의 경우 부품이 고정되어 있으면 4개 프레임이 필요하고 부품이 움직이면 5개 또는 6개 프레임이 필요하다. 위의 예에서는 총 6개의 트리거와 캡처된 이미지가 생성된다.

컨트롤러는 마스터 또는 슬레이브로 작동할 수 있다. 마스터로 작동할 때 컨트롤러는 센서/기계에서 하나의 트리거를 수신하면 프로그래밍된 순서로 카메라와 조명에 트리거를 보낸다.

여기서 레시피는 단일 트리거에서 작동한다. 트리거되면 모든 시 퀀스(시퀀스 내의 프레임과 시퀀스가 반복되도록 프로그램된 횟 수)를 실행한다. 레시피 실행이 완료되면 다시 시작하려면 다른 트리거가 필요하다.

슬레이브로 작동할 때 컨트롤러는 카메라/센서/PLC에서 트리 거를 수신한 다음 한 프레임 동안 조명을 트리거한다. 즉, 전체 시퀀스 또는 레시피를 실행하려면 여러 트리거가 필요하다. 컨트롤 러에는 프로그래밍을 위한 API와 CI 구성 및 제어 방법을 선택할 수 있는 GUI가 제공된다.

카메라 기술

트리거를 송수신할 수 있는 모든 카메라를 CI에 사용할 수 있 다. GenICam 호환 카메라(일반적으로 GigE Vision 또는 USB3 Vision)가 권장되지만 필수는 아니다. 현재의 모든 CI 기술은 일반적으로 해상도가 VGA(0.3MPixels) 에서 5MPixels 사이인 흑백 카메라를 사용한다. 더 높은 해상도는 일반적으로 처리량의 제한으로 인해 이점이 없다.

또한 고해상도 카메라에서 발견되는 더 작은 픽셀은 효과적인 이미지 처리를 위 해 노이즈가 너무 많을 수 있다. 더 작은 이미지를 사용하거나 더 큰 이미지에서 관심 영역(ROI)을 사용하여 이미지를 병합할 때 더 높은 처리 속도를 달성하기 위해 픽셀 수를 줄이는 것이 좋다.

더 높은 해상도의 카메라를 사용하는 경우 카메라 구성 소프트 웨어에서 해상도를 줄이는 것이 처리량을 높이는 효과적인 방법 이다(예: 12MPixel 이미지를 2‑3MPixels로 줄임). 카메라에 필 요한 최소 프레임 속도는 없다. 그러나 여러 이미지를 캡처해야 하고 검사 주기 시간이 일반적으로 싱글샷 이미징과 동일하기 때 문에 더 높은 프레임 속도의 카메라가 유용한 경우가 많다.

대형 이미지 센서(1인치 이상 형식)가 있는 카메라는 렌즈와 페 어링하기가 더 어려울 수 있으며 일반적으로 CI와 함께 사용하는 것이 권장되지 않는다. 또한, 광학 왜곡과 시차 오류를 제거하기 위해 낮은 왜곡 또는 텔레센트릭 렌즈를 사용하여 많은 응용 분야 에서 이점을 얻는다.

움직이는 부품의 이미징

움직이는 물체에 대해서도 많은 CI 기술을 수행할 수 있다. 즉, 생산 라인 환경에 적용할 수 있다. 당연히 카메라 FOV(Field of View)는 전체 캡처 시퀀스 동안 부품이 그 안에 머물수 있을 만큼 충분히 크게 설정되어야 한다. 글로벌 셔터 카메라의 사용은 동작 보정 및 적절한 이미지 병합을 위해 이미지를 정확하게 정렬 해야 하므로 이동 부품 애플리케이션에 특히 중요하다.

실제로 부품이 카메라를 지나갈 때 적절한 등록을 위해 부품을 추적하려면 하나 또는 두 개의 추가 이미지가 필요하다. 일반적 으로 패턴 일치 기술은 캡처 시퀀스의 두 개 이상의 프레임에서 부품을 정확하게 찾는 데 사용된다. 합병증을 피하기 위해 부품 은 일정한 속도로 직선으로 이동하고 크기가 변하지 않아야 한다 (예: 경사면 아래로 이동하지 않음).

포토메트릭 스테레오와 같은 단일 초점면의 2D 애플리케이션 의 경우 광학 왜곡은 모션 보정의 가장 큰 오류 원인이다. 왜곡이 매우 낮은(0.3% 이하) 렌즈를 사용하는 것이 좋다. 확장된 DOF와 같은 깊이 범위를 포함하는 3D 애플리케이션의 경우 Telecentric 렌즈는 대부분의 경우 원근 왜곡을 최소화하는 데 가장 적합하다. 일반 렌즈를 사용하는 경우 왜곡을 최소화하기 위해 더 긴 초점 거리와 더 큰 작동 거리를 권장한다(50mm 이상).

CI 이미지 만들기

CI 결과의 핵심은 비전 시스템에 의한 후속 처리 및 측정을 위해 다중 샷 이미지를 결합하여 하나의 향상된 이미지를 생성하는 기 능이다. 이것은 상용 소프트웨어 패키지를 사용하거나 SDK를 사용하여 수행할 수 있다.

▶상업적으로 이용 가능한 소프트웨어

소프트웨어 지원은 Cognex, Matrox, MVTec, Teledyne Dalsa, Silicon Software, National Instruments, Omron 및 Datalogic 을 포함한 주요 머신 비전 공급업체를 통해 제공된다. 포토메트 릭 스테레오, HDR, Ultra‑Resolution Color 및 Extended Depth of Field와 같은 컴퓨터 이미징 기술은 이러한 이미징 소프트웨 어 제조업체를 통해 직접 사용하거나 포함된 비전 도구에서 프로 그래밍할 수 있다.

이를 통해 비전 시스템 빌더는 현재 애플리케 이션에 가장 유익한 이미지를 얻을 수 있는 프로세스를 선택할 수 있다. 일반적으로 소프트웨어는 PC에서 실행되지만 일부 스마트 카메라 환경에서도 사용할 수 있다.

▶CI SDK

도구를 전용 애플리케이션 소프트웨어에 구축하려는 OEM, 시스 템 통합업체 및 머신 비전 개발자는 LSS‑2404 Light와 함께 무료 로 제공되는 SDK(software development kit; 소프트웨어 개발 키트)를 사용할 수 있다. 시퀀싱 스위치. 이 SDK에는 광범위한 CI 도구 세트가 포함되어 있다. C# 및 C++ 버전 모두에서 사용할 수 있으며 주요 머신 비전 소프트웨어 개발 패키지와 호환된다. 카메 라 소프트웨어는 캡처된 이미지에 대한 포인터를 CI SDK에 전달 할 수 있어야 한다.

자료제공: CCS America(www.ccsamerica.com)