Chromasens / 와이어 본드 검사 옵션과 문제점 - 3DPIXA
1. 소개
와이어 본딩 공정(wire bonding process)을 인라인으로 검사하는 것은 머신비전에서 가장 어려운 작업 중 하나이다. 기존 검사는 2D 이미지, 컬러, 그레이 스케일에서 수행되며 다음과 같이 구성된다.
- 와이어 추적
- 구부러진 와이어 감지
- 와이어 솔더 스폿 / 웨지분석
- 와이어 유무 확인
2D 검사는 일부 작업에는 충분하지 않으며 3D 정보가 필요하다. Chromasens 3DPIXA는 기존의 컬러 또는 그레이 스케일 이미지 외에도 ‘높이’(불일치) 이미지의 형태로 이러한 정보를 제공한다. 그러나 3DPIXA는 스테레오 이미징 기반 기술이며, 스테레오 이미징 원리는 와이어 본드 이미지에서 유용한 높이 정보를 생성하는 것과 관련해 제한 사항 몇 가지를 제시한다.
다음은 와이어 본드 검사의 주요 문제뿐만 아니라 최적화된 이미지 획득 설정에 대한 설명이다.
1.1 이미지 획득 설정
1.1.1 카메라 시스템
본딩 와이어는 직경이 수 미크론에서 수백 미크론에 이르기 때문에 3DPIXA의 광학 해상도를 선택하는 것은 요구 사항에 크게 의존하며 일반화할 수 없다. 또한 적절한 카메라를 선택할 때 높이 범위와 FOV 그리고 높이 해상도를 고려해야 한다. 표 1은 일반적인 선택 사항이다.
1.1.2 광원
와이어 본드 검사에 가장 적합한 광원은 코로나 II 타입(CP000200-XXXT-XX-XXX) 유형의 튜브 라이트로, 시간과 스펙트럼 안정성이 높은 균일한 공간 조명을 제공한다. 방향성 광원을 사용하는 것은 바람직하지 않다. 와이어에서 강한 그림자가 생기기 때문이다.
1.1.3 개략도 설정
카메라와 광원은 일반적으로 해당 기술 도면에 명시된 값에 따라 스캔 표면과 거리를 두고 설치해야 한다. 개략도 설정은 그림 1에 나와 있다. 그러나 3DPIXA를 표면 법선(스캔 선)에 대해 기울어진 약 5°의 각도로 장착하는 것이 좋다. 이를 통해 카메라는 0°에서 장착된 것처럼 장면 조명이 강한 위치에서 물체를 관측한다.
참고 : 카메라를 기울이면 스캔한 이미지 데이터가 투시된다. 높이를 중심 관점에서 측정해야 하는 경우, 값을 경사각의 코사인을 곱해서 보정해야 한다. 이 보정은 그림 2에 나와 있다.
2. 도전 과제
2.1 수평 와이어
2.1.1 문제 설명
Chromasens 라인 스캔 카메라를 사용하는 스테레오 이미징은 픽셀 기반 이미지 일치도와 해당 이미지 불일치를 추정하기 위해 상관 기반 블록 일치 알고리즘을 사용한다. 스테레오 쌍의 좌우 영상 사이의 일치 검색은 수평 방향(센서 선을 따라)으로 수행된다.
텍스처(texture)가 없는 수평 구조를 가진 물체의 경우, 블록 일치의 이미지 내용이 수평 방향의 여러 블록에서 동일하다. 때문에 대응 검색에 실패하거나 낮은 성능을 발휘할 수 있다.
본딩 와이어는 그러한 구조의 한 예다. 와이어의 모양은 와이어를 따라 균질하며 스캔한 이미지에서 가로 방향으로 나타날 수 있다. 문제의 예는 그림 3에 나와 있다. 불일치 이미지에서 비수평적 와이어에 대해 유효한 불일치 값(균일한 회색)과 수평선에 대해 잘못된 또는 상관관계가 없는 값(불균일한 회색과 검정 영역)이 표시된다.
2.1.2 문제 해결 전략
이 문제에 대한 잠재적인 해결책이 있다.
- 가능하면 이미지 평면에서 스캔 개체를 회전해 수평선이 보이지 않도록 한다.
- 가능하다면 스캔 라인이 더 이상 스캔 방향에 수직이 아니도록 카메라를 돌린다(2.1.3장 참조).
- 패턴 프로젝터를 사용해 와이어에 독특한 이미지 텍스처를 만든다.
이 문제는 소프트웨어 또는 더 복잡한 알고리즘을 사용해도 해결할 수 없다. 병목 현상이 원 이미지 데이터에 정보가 없기 때문이다.
2.1.3 카메라 회전 문제 해결 전략에 대한 설명
언급했듯이 수평 방향 와이어 문제는 스캔 방향과 관련해 카메라를 회전시켜 일부 애플리케이션에서 해결할 수 있다. 회전 각도는 센서 선과 평행한 선이 없도록 조정해야 한다. 설정은 다음 그림과 같다.
다음 예에서 누락된 높이 정보가 있는 이미지 영역을 줄이는 관점에서 카메라 회전의 이점을 확인할 수 있다.
주의
- 라인 스캔 카메라는 이 회전의 결과로 이미지 내용이 전단된다(그림 6 참조). 기하학적 측정이 2D 스캔 이미지에서 수행될 때마다, 이것은 심각한 한계일 수 있다. 이미지 전단은 기하학적 캘리브레이션(calibration)과 후속 이미지 포스트 프로세싱으로 보정될 수 있다. 그러나 이 기능은 매우 특수한 애플리케이션이므로 3DPIXA API에는 포함되지 않는다.
- 회전각이 작은 경우 RGB 이미지의 화질에는 영향을 미치지 않는다. 각도가 증가함에 따라 센서 방향으로 R-, G-, B- 픽셀의 이동이 증가해 컬러 이미지의 광학 저역 필터링이 발생한다. 그러나 단일 채널 3D 계산을 사용하면 회전 때문에 발생하는 영향이 없다.
2.2 평행한 수직선의 간격
2.2.1 문제 설명
스캔 장면의 객체 높이 범위는 일반적으로 3D 계산을 위해 평행 수직 와이어가 가질 수 있는 최소 거리를 결정한다. 이 관계를 이해하기 위해 상관관계 기반 블록 일치가 어떻게 작동하는지 다시 생각해야 한다.
그림 7에는 스테레오 쌍의 왼쪽과 오른쪽 이미지가 표시됐다. 왼쪽 카메라 이미지의 빨간색 표시 영역은 지정된 창 크기의 참조 블록이다. 블록 매칭을 사용해서 해당 블록은 미리 정의된 불일치 검색 범위(노란색으로 표시) 안에서 오른쪽 카메라 이미지에서 검색된다. 그림 7에서 중간 이미지를 살펴본다. 불일치 검색 범위는 다소 작게 선택된다.
그로 인해 와이어 하나(참조 블록과 일치하는 와이어)가 포함된다. 한편, 그림 7의 우측 이미지는 불일치 탐색 범위가 다수의 와이어를 포함하는 경우를 도시한다. 블록 일치는 모호한 통신으로 인해 실패할 수 있다.
고유 매칭을 보장하기 위해 불일치 검색 범위를 제한하는 것은 이 매개변수가 3D 측정의 높이 범위를 결정하므로 항상 가능한 것은 아니다. 일반적으로 검사 작업의 관심 영역에서 최소 혹은 최대 객체 높이에 따라 선택되고, 전체 이미지에 대해 전역으로 선택된다.
2.2.2 문제 해결 전략
불일치 검색 범위를 제한할 수 없는 애플리케이션에서는 다른 접근법을 고려할 수 있다.
세그먼트와 라벨 와이어
2D 이미지 처리 알고리즘을 사용해 스테레오 쌍의 오른쪽과 왼쪽 이미지의 개별 와이어를 세그먼트화 한 다음 해당 와이어에 라벨을 붙일 수 있다. 와이어의 시작과 끝(솔더 스폿)의 이미지 위치가 잘 알려졌기 때문에 라벨 작업은 대부분의 애플리케이션에서 간단하다.
사전 처리가 완료되면, 불일치 검색 범위에서 유일하게 매칭할 수 있는 와이어만 포함하는 인공 이미지 쌍을 만들 수 있다. 3DAPI를 사용해 해당 불일치 이미지를 계산하고 단일 높이 맵에 병합할 수 있다. 그림 8에서 기존 계산과 비교해 접근법의 결과를 예시한다.
이 접근법의 계산 요구는 처리할 개별 와이어가 있는 이미지 쌍의 수에 따라 증가한다. 여러 3DAPI 인스턴스가 병렬로 분산된 컴퓨팅과 인스턴스당 최소 하나 이상의 GPU를 사용하면 속도를 높일 수 있다.
와이어에서 특징 추출하기
3DAPI는 스테레오 이미지 쌍의 해당 이미지 포인트로부터 3D 좌표를 계산하는 기능이 있다.
이 함수의 이름은 rawImageCoordinatesTo3D이며 자세한 설명은 CS-3D-Api-Manual에 나와 있다. 이를 바탕으로 수직선 문제는 이미지 처리를 사용해 좌우 스테레오 이미지의 와이어에서 해당 지점을 추출해서 해결할 수 있다. 그런 다음 결과로 나오는 이산 3D 좌표를 3D 이미지의 와이어 표현에 병합할 수 있다. 그런 식으로 이미지 상관 기반 블록 매칭 접근법은 이미지 처리 기반의 와이어 탐지로 대체되며, 이는 특정 애플리케이션에 구현해야 한다.
2.3 그림자 효과
2.3.1 문제 설명
스캔 장면에서 방향성 조명을 사용하면 백그라운드에서 와이어에서 캐스팅된 그림자가 생긴다. Chromasens가 권장하는 설정과 튜브 라이트 사용 후 효과는 현저히 줄어든다. 그러나 그림 9는 특정 배경 자료와 와이어의 경우 잔여 그림자 효과가 있음을 보여준다.
이러한 그림자는 상관 창(correlation window, 블록 일치의 블록 크기)의 이미지 내용이 오른쪽과 왼쪽 이미지의 해당 영역에 별개의 음영을 포함할 때 문제가 된다(그림 9 참조). 이 경우, 블록이 사실상 우측 혹은 좌측 이미지의 대응하는 영역임에도 불구하고 블록 내용이 일치하지 않기 때문에 상관 값이 낮다.
2.3.2 문제 해결 전략
그림자는 오른쪽과 왼쪽 보기의 원근감 차이 때문에 스테레오 이미지의 다른 위치에 나타난다.
문제를 극복하기 위한 접근법 중 하나는 그림자 효과가 감소되도록 장면 조명을 개선하는 것이다. 항상 가능한 것은 아니며 복잡한 맞춤형 광원이 필요할 수도 있다.
다른 방법은 상관 윈도우 블록 크기를 줄이는 것이다. 그러나 사용할 수 있는 최소 크기는 해당 창에서 3D 계산을 위해 충분한 고유 텍스처 특성이 남아 있도록 선택해야 한다.
마지막으로, 이미지 처리는 예를 들어 그림자 효과가 포함된 배경에서 와이어를 세분화해 스테레오 이미지 쌍에서 그림자를 제거할 수 있다. 일단 백그라운드 영역이 제거되면(즉, 0으로 설정됨), 3DAPI의 구성은 이러한 영역이 계산에서 무시되도록 설정할 수 있다.
3. 요약
와이어 본드 검사를 위한 3DPIXA의 적용을 논의했다. 비전 시스템 설계와 설정을 위한 고려 사항과 지침을 소개한 후 와이어 본드 검사의 특정 과제가 도입됐다. 각 도전적인 측면은 예제로 설명됐으며 다음과 같은 문제 해결 전략을 상세하게 논의했다.
과제 1 : 수평 와이어 (2.1 참조)
- 스캔 이미지에서 와이어가 수평으로 나타나지 않도록 스캔 장면을 회전시킨다.
- 스캔 이미지에 수평선이 나타나지 않도록 카메라를 회전시킨다.
- 이미지 텍스처를 만들기 위해 와이어에 패턴을 투영한다.
과제 2 : 평행 수직 와이어의 간격 (2.2 참조)
- 불일치 검색 범위 매개 변수 제한
- 3D 계산 전에 개별 와이어를 분할하고 레이블을 지정한다.
과제 3: 그림자 효과 (2.3 참조)
- 그림자를 줄이기 위해 장면 조명을 수정한다.
- 3D 계산을 위한 창 크기 줄이기
- 이미지 분할로 배경 제거
자료 제공 : Chromasens(www.chromasens.com)
