T2IR(Trigger to Image Reliability) 프레임워크

머신비전 장비를 감시하는 하드웨어와 소프트웨어의 조합

안정성이 없는 머신비전 장비는 장식에 지나지 않는다. T2IR은 머신비전 장비의 데이터 흐름을 관리, 모니터링, 감시, 디버깅할 수 있는 도구를 제공하여 어느 부분에 문제가 발생했는지를 눈으로 확인할 수 있도록 해준다. 이 글에서는 사용자에게 궁극으로 더 안정적인 동작, 더 많은 가동 시간, 더 높은 생산성, 비용 절감 등을 제공하는 Teledyne DALSA의 T2IR에 대해 알아본다.

T2IR(Trigger to Image Reliability)란?

T2IR은 비전 장비의 신뢰성을 향상할 수 있도록 하드웨어와 소프트웨어가 함께 동작하는 기능들의 조합으로, 전체 장비를 모니터링하고 관리 및 진단하는 기능을 제공한다. 또한 이미지 흐름을 모니터링하고 디버깅할 수 있도록 비전 장비 내부를 확인하는 기능을 제공한다. 예상치 않은 전송 병목 현상을 극복하고 데이터 손실을 최소화하거나 방지하기 위해 구성 요소의 온보드 메모리에 임시로 이미지를 저장할 수도 있다. 즉, 데이터가 손실되거나 잘못된 데이터가 발생하지 않도록 발생한 오류를 식별하고 추적할 수 있는 확실한 길잡이인 셈이다. T2IR은 견고하고 안정적인 동작을 보장하므로 반복할 수 있는 결과를 생성하며, 다른 장비의 애플리케이션을 방해하지 않는 비간섭 방식으로 동작한다.

머신비전에서의 안정성 문제
머신비전 장비는 여러 분야의 제조 공정에서 다양한 검사, 인식, 가이던스 장비에 사용된다. 장비는 조명, 트리거(Trigger) 장치, 카메라(Area/Line scan, 컬러/흑백), 프레임 그래버, 소프트웨어 등을 포함한 다양한 구성요소를 사용한다.
장비와 검사 대상은 다양하지만, 생산 차질과 오류를 최소화하면서 가능한 빠르고 포괄적으로 자동 검사 작업을 수행해야 한다는 목적은 대부분 같다. 따라서 제조업체는 신뢰할 수 있는 결과를 내기 위해 비전 장비를 사용한다. 이들은 장비가 표시하는 것을 믿을 수밖에 없다.
하지만 문제는 복잡한 비전 장비에서 다양한 문제가 발생할 수 있다는 것이다. 신뢰할 수 있는 장비를 구축하는 데 필요한 큰 과제 중 하나는 바로 오류를 처리하는 것이다. 무엇이 잘못되었는지 찾는 것뿐만 아니라 언제, 어떻게, 왜 잘못되었는지 그리고 가장 중요한 부분이 무엇인지 등을 알 수 있도록 만드는 것이다. 세심한 사전 계획이 없다면 머신비전 장비는 빛이 입력되고 데이터가 출력되더라도 이 사이에 어떠한 작업이 일어나고 있는지 전혀 알 수 없는 블랙박스와 같아질 수 있다.
블랙박스 효과를 위해 장비 설계자는 무엇을 해야 할까? 설계자들은 모든 장비가 필요로 하는 디버깅을 지원하기 위해 커스터마이징된 자체 플래그와 인디케이터를 만들 수도 있지만, 보다 효율적으로 Teldyne DALSA의 T2IR 프레임워크를 활용할 수있다. T2IR 프레임워크는 이미지를 촬영하여 호스트 메모리로 데이터를 전송하는 모든 흐름을 관리/모니터링/디버깅할 수 있는 도구를 제공한다.

T2IR(Trigger to Image Reliability) 프레임워크의 구성 요소
T2IR 프레임워크는 다음과 같은 세 가지 주요 방식으로 사용된다.
·비주얼 인디케이터: T2IR의 일부로 Teldyne DALSA의 하드웨어는 LED를 장착하여 장비의 전원을 켤 때부터 모든 동작 모드와 오류 모드를 표시한다.
·스탠드어론 GUI 기반 도구: 이 사용하기 쉬운 도구를 사용하면 장비의 성능에 영향을 주지 않고 다른 호스트 시스템의 애플리케이션과 동시에 실행할 수 있는 고급 진단을 할 수 있다.
·Sapera API 프로그래밍 기능: 사용자 애플리케이션에 통합할 수 있는 이러한 기능들을 사용하면 다이내믹하고 프로그래밍할 수 있는 인라인 추적과 관리를 할 수 있다. T2IR GUI 도구의 모든 기능은 Sapera API 일부로 사용할 수 있다. 또한 사용자가 Sapera SDK를 사용하여 자체 애플리케이션에서 기능을 직접 사용할 수 있다.

T2IR 프레임워크의 핵심 기능
·올바른 대상 획득
머신비전 애플리케이션에서 이미지 획득 프로세스는 트리거(Trigger) 신호를 카메라로 전송하여 이미지 생성을 시작한다. 트리거는 이미지 처리 및 분석을 할 수 있도록 하는 이미지 획득 시퀀스의 중요 시작 지점을 나타낸다. 트리거 입력은 조명을 제어하고 카메라를 노출하도록 하는 스트로보 출력을 생성한다. 그러나, 카메라와 조명 장치가 트리거 센서로써 컨베이어 위에 같은 위치에 있지 않는 등 트리거 입력과 스트로보 출력 사이에 지연이 발생하는 때도 있다.
소프트웨어를 통해 이 2개의 이벤트를 조정하는 것은 거의 불가능하고, 완벽히 신뢰할 수 없다. (특히, Windows 운영 체제의 명령 실행에 변형이 발생하는 경우) 이러한 문제를 해결하기 위해 Teledyne DALSA는 온보드 하드웨어 내에 트리거 및 스트로보 제어 기능을 장착하고, 이러한 두 신호 사이에 지연 타이머로 프로그래밍할 수 있도록 만들었다.
지연 타이머는 트리거 입력, 조명의 점등, 카메라 노출 사이의 지연을 정확하게 설정하도록 만든다. 하지만, 프로그래밍된 지연 시간은 생산 설비의 이론적인 속도를 기반으로 계산된다. 실제 속도가 일정하지 않으면 생성된 이미지로 개체의 위치를 분석하기에 적합하지 않을 수 있다는 뜻이다.
따라서, 안정적으로 이미지를 획득하려면 지연은 개체의 속도와 연결 지어야 한다. 이것은 컨베이어 시스템의 회전부에 부착된 인코더에서 펄스 출력을 사용하여 동작한다. 인코더 틱의 측점에서 지연의 표현은 생산 설비의 실제 속도와 동기화된다. 따라서, 개체는 생산 설비의 속도와 관계없이 이미지에서 같은 위치로 촬영된다.

·여러 대의 컴퓨터 또는 카메라 동기화
사용자들은 비용을 최소화하면서도 확장 가능한 성능을 제공하는 장비를 구축하기를 원한다. 어떤 경우에는 더 높은 해상도의 이미지를 구성하기 위해 여러 대의 저해상도 카메라와 렌즈를 결합하여 더욱 저렴하게 구성하거나 이미지 프로세싱 및 분석 작업의 로드를 최소화하기 위해 여러 대의 컴퓨터로 이미지를 고속 전송하기도 한다.

·외부 트리거(Trigger) 관리
외부 트리거 관리 부분은 비전 장비에서 보이는 트리거 신호의 신뢰성을 보장하기 위해 필수적인 기능이다. 신호가 트리거 이벤트를 실제로 표시하지 않거나 장비가 처리할 수 없는 너무 많은 트리거를 수신할 때에도 관리할 수 있기 때문이다.
올바른 트리거의 첫 번째 기준은 바로 ‘트리거가 실제 검사 대상의 위치를 표현할 수 있는가’이다. 잘못된 트리거는 적절하지 않은 위치에서의 신호를 뜻한다. 전기 노이즈 또는 기계식 액추에이터 및 모터와 관련된 결함과 지터(jitter)로 인해 잘못된 트리거가 발생할 수 있다. T2IR 기술은 획득에 유효한 것으로 간주하기 전에 최소 기간동안 신호가 활성 상태로 유지되도록 함으로써 잘못된 트리거를 줄일 수 있는 효과적인 방법을 제공한다.

·이미지추적
T2IR은 신뢰할 수 있고 반복할 수 있는 장비를 생성할 수 있는 이미지 태그와 타임스탬프 등 중요한 설계 개념을 사용한다. 예를 들어 분당 최대 3,600개 부품을 처리하는 장치가 있다면, 공장 생산 설비는 최대 속도로 동작하고 각각의 이미지는 유지, 폐기, 재검사 등의 태그를 달 것이다. 더 진화된 애플리케이션은 여러 화면에서 검사해야 할 수도 있다. 각 면을 검사해야 하고 각각 다른 조명을 사용하지만, Frame rate는 같다. 이러한 조건을 따져보면 분당 3,600개의 부품을 검사하지만, 분당 14,400개의 이미지를 처리해야 하는 것이다. 이 예시에서 이미징 장비는 최종 합격 판정을 내리기 전에 4개의 이미지 획득을 해야 한다.

·획득 프로세스 모니터링
머신비전 장비가 적절한 데이터를 캡처하고 합격/불합격 판정을 위해 개체를 추적하고 있다면 이제 획득 장치의 온보드 메모리에서 장비의 호스트 메모리로 이미지 데이터를 전송할 차례이다. T2IR 프레임워크에는 필요한 모든 이미지가 획득 장치의 온보드 메모리에 정확하게 캡처되었는지 확인할 수 있는 소프트웨어 도구가 포함되어 있다.
장비의 동작을 모니터링하기 위해 연속해서 상태를 확인할 수 있지만, 실제로는 시스템 성능을 저하시킨다. T2IR은 특정 상태 플래그가 변경되면 획득 장치가 발행하는 이벤트 개념을 사용해 애플리케이션에 알려준다. 이를 통해 이벤트가 발생한 경우 주요 처리 작업을 중단하여 최적의 조건으로 동작한다. 이러한 알림은 사용자 애플리케이션 수준에서 처리되므로 애플리케이션이 완벽하게 처리 방법을 결정할 수 있다. 또한 다음 획득 신호의 상태를 호스트 애플리케이션에서 모니터링할 수 있으며, 사용하는 하드웨어에 따라 상태 신호 사용 가능 유무가 다르고, 가용성은 프로그래밍 방식으로 확인할 수 있다.

·너무 많은 데이터 극복 
‘이미지 추적’의 예시를 다시 살펴보면, 장비는 분당 3,600개의 부품을 처리해야 하고, 각 부품 4개 면을 동시에 촬영하여 이미지를 획득해야 하므로 머신비전 장비가 분당 14,400개의 이미지를 획득, 프로세싱, 분석한다. 이때, 과도한 부하를 장비가 처리할 수 있는 최대 부하로 맞춰야 적절하게 장비를 설계할 수 있다.
T2IR 프레임워크는 원형 버퍼 개념을 통해 최대 부하를 제공한다. 또한, 지속해서 추적할 수 있도록 사용자에게 알림을 제공한다. 최대 부하를 처리하는 동안 장비의 다양한 구성 요소들이 동기화될 수 있도록 이미지 대기열을 모니터링하고 어떠한 변화가 발생하면 즉시 사용자 애플리케이션에 전달하는 것이 중요하다.

T2IR은 너무 많은 데이터와 관련된 상황을 처리할 수 있는 다양한 옵션을 제공한다.
처리된 이미지에서 결과 정확성을 유지하면서 안전하게 이미지를 폐기하는 데 필요한 정보를 사용자에게 제공하는 것이다. 모든 이미지가 계산되면 폐기되는 이미지는 자연스럽게 처리량 감소로 이어진다.
따라서 이미지를 폐기할 때에도 처리량에 영향을 최소화하기 위해 주의해야 한다. T2IR 프레임워크는 장비가 이미지를 계속해서 처리할 수 없다고 판단하면 획득 파이프라인 초기에 애플리케이션이 이미지를 폐기하도록 할 수 있다. T2IR 프레임워크는 수신하는 이미지를 효율적으로 버릴 수 있는 ‘trash’ 버퍼 개념을 사용한다. 장비가 입력 데이터를 처리할 수 없는 경우 획득한 이미지는 ‘trash’ 버퍼로 전송되는 것이다.
이 경우, 사용자 애플리케이션은 데이터 오버플로 이벤트를 통해 알려준다. 예를 들어, 호스트 버퍼로 이미지를 전송하는 경우 Xtium 프레임 그래버는 호스트 메모리로 전송한 다음 폐기하지 않고, 다운스트림 병목 현상을 모니터링하고 획득 소스에서 즉시 이미지를 폐기한다. 이를 통해 획득 부문은 다음 이미지를 캡처할 수 있는 준비 상태로 즉시 복귀할 수 있다.

·데이터품질보장
일반적으로 머신비전 카메라는 예측할 수 있는 방식으로 오버 트리거(Over trigger) 상황을 처리해야 한다. 카메라 트리거 속도가 최대 프레임 속도 또는 라인 속도를 초과하면 오버 트리거 상황이 발생한다. 카메라가 적절하게 응답하지 않고 모든 이미지 전송을 중단하는 경우 T2IR은 이러한 상황을 복구할 수 있는 수단을 제공하고, 사용자 애플리케이션에 전송하는 알림을 생성한다.
이것은 Teldyne DALSA 프레임 그래버의 표준 기능이다. 손실 라인 또는 손실 프레임을 모으고 처리하는 것은 획득 장비의 안정성을 결정하는 데 중요한 요소로, 결과의 정확성에 직접적인 영향을 미친다. 예를 들어, 라인 스캔 카메라를 사용하는 경우 라인이 빠지면 이미지의 개체화면 비율이 잘못되어 처리 알고리즘이 잘못된 결과를 생성할 수 있다. 마찬가지로, 에어리어 스캔 카메라 역시 개체를 누락시킬 수 있다.

·Sapera LogViewer
Sapera Log Viewer 유틸리티는 Sapera LT를 설치할 때 함께 제공되고, 획득 장치와 운영 체제로 전송하는 Sapera 메시지를 쉽게 확인할 수 있는 방식을 제공한다.
Log Viewer는 호스트 애플리케이션과 Sapera 모듈 사이의 상호 작용에 중요한 정보를 제공한다. 세부적인 메시지 목록은 방대한 중요 장비 정보를 제공하므로 분리하기 어렵고 자주 일어나는 오류를 정확하게 파악할 수 있는 유용한 도구라 할 수 있다.

Sapera LogViewer는 애플리케이션의 성능에 영향을 주지 않고 백그라운드에서 실행되고 전체 메시지 통신과 결과를 저장한다. 이를 통해 오류가 발생한 후에도 로그를 분석할 수 있다. LogViewer 구성 옵션을 통해 사용자가 로그된 결과 유형을 설정할 수 있다.
예를 들어, 공간을 절약하기 위해 사용자가 ‘오류’ 메시지 로그만 선택하고 ‘경고’ 또는 ‘정보’ 메시지를 무시할 수 있다. 생성된 로그를 다양하게 필터링하거나 오류가 발생하는 메시지를 정확하게 찾아볼 수 있도록 핵심 용어로 검색할 수 있다.
또한, 동시에 Log Viewer의 여러 인스턴스를 실행하고 사용자에 맞춰 설정할 수 있다. 따라서, 사용자가 여러 획득 장치를 처리해야 할 때 각 인스턴스에 관한 관심 메시지만 확인할 수 있다.Camera Input Eye Diagram Monitor

아이 다이어그램(Eye diagram)은 카메라와 프레임 그래버 데이터 레인 사이 신호를 그래픽적으로 나타낸 것이다.
이 도구는 케이블의 성능이 저하되는 시점을 결정할 때 사용할 수 있다. <사진 13>은 데이터 레인이 7개인 카메라를 나타내고, 각 디지털 신호가 반복적으로 샘플링되고 겹쳐 차동 신호의 low-high 전환을 표시한다.
결과를 해석하는 것은 간단하다. 청색 영역이 클수록 신호 무결성이 좋다는 뜻이다. 모든 청색 영역의 크기와 형태가 비슷하면 각 와이어 쌍은 유사한 성능을 낸다는 것을 나타낸다. 청색 영역이 작게 표시되면 작은 SN(Signal to noise), 높은 케이블 커패시턴스, 다중 경로 간섭, 다양한 디지털 전송 오류 등의 문제를 나타낼 수 있다. 결론
T2IR은 결함이 있는 개체를 감지하고 생산 설비에서 이를 빠르고 안정적으로 걸러낼 수 있어야 하는 머신비전 장비에서 고속, 대용량 애플리케이션을 개발하고 사용해야 하는 장비 제조사 및 최종 사용자에게 도움을 줄 수 있다.
장비 제조사는 애플리케이션에서 사용되는 프레임 그래버/GigE 카메라가 장비를 더 강력하게 안정적으로 만드는 데 도움을 받을 수 있다. 프레임 그래버와 GigE 카메라가 자체적으로 문제를 감지하고 적시에 알림을 제공하고 시정 조처를 할 수 있으므로 장비 제조사 측에서는 장비의 오류를 찾고 이를 해결하는 노력과 시간을 들이지 않아도 되므로 개발 과정을 단순화할 수 있다.
T2IR은 유지보수를 줄이고 현장에 설치된 장비도 지원할 수 있어 총 소유 비용을 절감시킬 수 있다. 또한 가동시간과 생산성을 향상하여 최종 사용자가 시간과 비용을 줄일 수 있도록 도움을 준다.
100% 검사를 구축하고 있는 반도체와 같은 다양한 산업에서 T2IR은 제조사가 가장 적은 생산 비용으로 더 나은 제품 수율을 달성하는 데 도움이 될 것이다.

자료제공 | 앤비젼(www.envision.co.kr)