와이어본드 검사의 어려움 극복하는 방법
3DPIXA 기술 활용 예시
3DPIXA 기술을 사용해 와이어본드 검사를 진행할 때 특정 상황에서 오류가 발생한다. 비전업체 크로마센스(Chromasens)가 제시하는 와이어본드 검사 애플리케이션 설계 및 비전 구성 요소 권장 사항을 소개한다. 이와 더불어 와이어본드 검사에서 가장 자주 발생하는 문제와 잠재적인 해결 방법에 대해 설명한다.
와이어본딩 공정을 인라인으로 검사하는 것은 현재 머신비전 애플리케이션에서 가장 어려운 작업 중 하나이다.
기존의 검사는 컬러 또는 그레이 스케일 2D 이미지로 수행되며 와이어 추적, 구부러진 와이어 감지, 와이어 납땜 부위·웨지 분석, 와이어 존재 여부를 검사한다. 일부 작업은 2D 검사 결과가 충분하지 않으며 3D 정보를 필요로 하는 경우가 있다. 크로마센스의 3DPIXA는 기존의 컬러 또는 그레이 스케일 이미지 외에도 ‘높이’ 이미지의 형태로 3D 정보를 제공한다. 3DPIXA는 스테레오 이미징 기반 기술을 활용해 와이어본드 이미지 분석에 유용한 높이 정보를 생성하지만 몇 가지 제약이 있다.
와이어본드 정보를 수집하는 카메라 시스템
본딩 와이어의 직경은 수 마이크론에서 수십 마이크론에 불과하기 때문에 3DPIXA의 광학 해상도를 선택하는 것은 애플리케이션의 요구 사항에 의해 좌우된다.
또 적절한 카메라를 선택하기 위해서는 해상도, 높이 범위 및 FOV를 고려해야한다.
와이어본드 검사 공정에 적합한 광원
와이어본드 검사에 가장 적합한 광원은 작동 시간 및 스펙트럼 안정성이 우수하고 균일한 공간 조명을 제공하는 코로나 II(CP000200-XXXT-XX-XXX) 유형의 튜브라이트이다.
코로나 II 다크 필드와 같은 방향성 광원을 사용하는 것은 권장되지 않는다. 와이어의 그림자가 검사 결과로 이어지기 때문이다.
회로도 설정
카메라 및 광원은 일반적으로 해당 기술 도면에 명시된 값에 따라 스캔 표면과 일정한 거리를 두고 설치돼야 한다.
그러나 3DPIXA는 표면 법선(스캔 선)을 기준으로 약 5° 기울어진 각도로 장착하는 것이 좋다. 이를 통해 카메라는 스캔 선과 동일한 위치에 장착된 것처럼 조명이 강한 위치에서 물체를 관측할 수 있다. 카메라를 기울이면 스캔한 영상 데이터가 원근법으로 표시된다. 중앙의 관점에서 높이를 측정해야 하는 경우에는 기울기 각도의 코사인 값을 곱해 측정을 보정해야 한다.
수평 와이어 검사의 문제점
크로마센스의 라인 스캔 카메라를 사용하는 스테레오 이미징은 픽셀 단위의 이미지를 평가하기 위해 상관성 기반 블록 정합 알고리즘을 사용한다. 스테레오 카메라 한 쌍의 좌우 영상 간의 일치 수색은 센서 라인을 따라 수평 방향으로 수행된다. 텍스처가 없는 수평 구조를 가진 객체의 경우 블록 정합의 이미지 내용이 수평 방향의 여러 블록에서 동일하기 때문에 대응 검색이 실패하거나 낮은 수행율을 기록할 수 있다.
와이어본딩은 대응 검색 수행 성공률이 낮은 예시중 하나이다. 와이어의 외관은 균일하며 스캔된 이미지에는 가로 방향으로 나타나기 때문이다. 변이 영상에서 수평선이 아닌 경우에는 유효한 불일치 값(균일한 회색)으로 표시되고, 수평선인 경우 잘못된 값 또는 상관되지 않은 값(불균일한 회색 및 검정색 영역)으로 나타난다.
수평 와이어 검사 문제 해결 전략
이 문제를 해결하기 위해서는 와이어가 수평으로 보이지 않도록 상평면에서 스캔 대상체를 회전시키는 것이 좋다. 스캔 라인과 방향이 수직을 이루지 않도록 카메라를 회전시키는 방법도 있다. 또는 패턴 프로젝터를 사용해 와이어에 독특한 영상 텍스처를 만들 수도 있다.
미가공 이미지 데이터에서 병목 현상은 정보(이미지 텍스처)가 누락돼 생기기 때문에 소프트웨어나 보다 정교한 알고리즘으로 해결할 수 없다.
카메라 회전 문제 해결 방법
앞서 언급한 바와 같이 수평선 문제는 일부 애플리케이션에서 스캔 방향에 따라 카메라를 회전시켜 해결할 수 있다. 회전 각도는 센서 라인과 평행한 와이어가 없도록 조정해야 한다.
그림 4와 같이 카메라를 조정하면 된다. 그림 5를 보면 카메라를 회전시켜 높이 정보가 누락된 이미지를 보완할 수 있음을 알 수 있다.
라인 스캔 카메라의 경우 이 회전의 결과로 이미지 내용이 변형될 수 있다. 2D 스캔 이미지에서 기하학적 측정을 수행할 때마다 심각한 제한이 될 수밖에 없다. 이미지 변형은 기하학적 캘리브레이션 및 후속 이미지 프로세싱으로 보정할 수 있다. 그러나 3DPIXA API에는 이 기능이 포함돼 있지 않다.
회전각이 작은 경우 RGB 이미지의 품질에는 영향을 미치지 않는다. 각도가 증가함에 따라 센서 방향으로 R, G 및 B 픽셀의 이동이 증가해 컬러 이미지의 광학 저역 필터링이 발생한다. 단일 채널 3D 계산을 사용하면 회전에 영향을 받지 않는다.
병렬 수직 와이어 간격 검사의 문제점
스캔할 때 객체의 높이 범위는 일반적으로 3D 계산을 위해 평행 수직 와이어가 가질 수 있는 최소 거리를 결정한다. 이 관계를 이해하려면 상관성 기반 블록 정합이 어떻게 작동하는지 이해해야 한다. 그림 7은 스테레오 쌍이 촬영한 왼쪽 및 오른쪽 이미지가 표시돼 있다. 왼쪽 카메라로 촬영한 그림에서 빨간색으로 표시된 영역은 주어진 윈도우 크기 기준의 블록이다. 블록 정합을 사용하면 해당 블록이 사전 정의된 변이 검색 범위 내에서 오른쪽 카메라 영상에서도 검색된다(노란색으로 표시).
그림 7의 중간 이미지를 살펴보면 불일치 검색 범위는 다소 작게 표시된다. 따라서 와이어가 하나만 포함된다(기준 블록과 일치). 한편, 그림 7의 오른쪽 이미지는 불일치 탐색 범위가 다수의 와이어를 포함하는 경우를 보여준다. 블록 정합은 모호한 통신으로 인해 실패할 수도 있다.
고유 정합을 보장하기 위해 변이 검색 범위를 제한하는 것은 3D 측정의 높이 범위에 따라 달라지기 때문에 항상 가능하지는 않다. 일반적으로 이 옵션은 검사 작업 관심 영역의 최소 및 최대 개체 높이에 따라 선택되며 이미지에 대해 전체적으로 선택된다.
와이어 분할 및 라벨 표시
병렬 수직 와이어 간격 검사 문제를 해결하기 위해 변이 검색 범위를 제한 할 수 없는 애플리케이션에서는 다른 접근법을 고려해야 한다.
2D 이미지 처리 알고리즘을 사용하면 스테레오 카메라 쌍의 오른쪽 및 왼쪽 이미지에 개별 와이어를 분할한 다음 해당 와이어에 라벨을 붙일 수 있다. 와이어의 시작과 끝(납땜 부위) 부분의 위치가 명확하기 때문에 라벨링 작업은 대부분의 애플리케이션에서 간단하게 수행된다. 이러한 전처리가 완료되면 변이 검색 범위 내에서 고유한 정합이 가능한 와이어만을 포함한 인공 이미지 쌍을 만들 수 있다. 3DAPI를 사용하면 해당 변이 이미지를 계산하고 단일 높이 맵에 병합 할 수 있다. 그림 8은 기존의 계산과 비교해 이 접근법의 결과를 보여준다.
처리해야 될 개별 와이어가 있는 이미지 쌍의 수 증가와 함께 이러한 계산 방법의 필요성이 늘어날 전망이다. 여러 개의 3DAPI 인스턴스가 병렬로 분산된 컴퓨팅을 사용하고 인스턴스 당 하나 이상의 GPU를 사용하는 것이 검사 속도를 높이는 방법이다.
와이어에서 특징 추출하기
3DAPI는 스테레오 이미지 쌍의 특정 이미지 포인트 3D 좌표를 계산하는 기능을 탑재하고 있다. 이러한 기능은 ‘Raw Image Coordinates To 3D’라고 불린다. 이를 바탕으로 수직 와이어의 경우 좌우 스테레오 이미지의 처리과정을 거쳐 와이어에서 특정 지점의 좌표를 추출할 수 있다. 이때 결과로 나오는 3D 좌표를 와이어 재현 3D 이미지에 병합할 수 있다. 이러한 방식으로 이미지 상관성 기반 블록 정합 접근법은 특정 애플리케이션 구현에 필요한 이미지 처리 기반 와이어 탐지로 대체가 가능하다.
그림자 효과의 문제점
스캔할 때 방향성 조명을 사용하면 배경에 와이어의 그림자가 생긴다. 크로마센스가 귄장한대로 설정하거나 튜브라이트를 사용하면 그림자 효과는 현저하게 줄어든다. 그림 9는 특정 배경 및 와이어의 경우 잔여 그림자 효과가 있음을 보여준다. 그림자는 상관 창(블록 정합의 블록 크기)이 좌우 이미지의 해당 영역에 뚜렷한 그림자를 포함할 때 문제가 된다. 이 경우 블록이 좌우 이미지의 해당 영역에 있다 하더라도 블록의 내용이 일치하지 않기 때문에 상관 값은 낮다.
그림자 효과 문제 해결 방법
그림자는 오른쪽과 왼쪽에서 볼 때 원근감의 차이가 있기 때문에 스테레오 이미지에서는 별개의 위치로 나타난다.
이 문제를 극복하기 위한 방법은 그림자 효과를 줄이기 위해 조명을 개선하는 것이다. 하지만 이 방법은 항상 가능한 것은 아니며 복잡한 맞춤형 광원이 필요할 수도 있다.
이 외 방법은 관련된 윈도우 블록의 크기를 줄이는 것이다. 그러나 사용할 수 있는 최소 크기는 상관 창에서 3D 계산이 가능하도록 충분히 텍스처 특성이 남아 있게 선택해야 한다. 이미지 처리를 사용하면 그림자 효과가 포함된 배경에서 와이어를 세분화해 스테레오 이미지 쌍에서 그림자를 제거 할 수 있다. 일단 배경 영역이 제거되면(즉, 0으로 설정됨) 3DAPI 설정은 이러한 영역을 무시하고 계산을 수행할 수 있다.
출처 : 크로마센스(www.chromasens.de)
