3DPIXA 라인스캔 카메라를 사용해 커넥터 핀 검사를 구현하는 방법

자동차 산업에서 전기 커넥터의 품질은 차량의 안전과 신뢰성을 보장하는데 가장 중요하다. 대량 생산과 비용 효율적인 생산을 위해서는 모든 커넥터에 완전 자동화된 테스트를 적용해야 한다. 이 기사에서는 이미지 데이터 처리 파이프라인과 함께 Chromasens 3DPIXA 고속 스테레오 라인 스캔 카메라를 사용하는 광학적 방법에 기반한 적절한 개념을 제안한다. 주요 작업은 핀 팁의 서로 상대적인 위치와 커넥터 하우징에 대한 절대적 위치를 측정하는 것이다.

따라서 적용된 이미지 처리 알고리즘은 이미지에서 다양한 수의 플러그를 감지하고 관심이 있는 경우 해당 영역을 생성해야 한다. 플러그의 핀 팁은 원통형 영역이 있는 미리 정의된 그리드에 있어야 한다. 알고 리즘은 이 참조 그리드를 정의하고 이 그리드를 핀 팁에 정렬해야 한다. 측정의 목적은 이 영역에 없는 개별 핀을 감지하는 것이다. 이러한 핀은 접촉 문제를 일으킬 수 있으므로 플러그를 분류해야 한다. 이에 따라 3DPixa 및 3DAPI를 사용하여 커넥터에 대한 측정 작업을 구현하는 방법을 소개한다.

스캔 환경

테스트 설정은 다음 페이지의 그림에 개략적으로 설명되어 있다. 카메 라와 조명은 플러그 표면에 직사각형으로 정렬된다. 배경은 검정색 무반사 용지이다. 이렇게 하면 플러그의 위치와 정렬을 더 쉽게 감지할수 있다. 

이 경우, 카메라의 최상의 초점면은 핀 팁의 평균 높이다. 플러그 하단(핀 높이 측정)을 포함하는 측정 작업의 경우 핀 팁의 우수한 선명도와 플러그 하단의 충분한 선명도가 필요하다. 최상의 측정 평면은 핀 팁 약간 아래에 있다. 다른 정렬로 수동으로 배치된 플러그가 있는 이미지가 여러 개 있다. 모든 플러그는 긴 면이 운송 방향과 거의 평행하도록 정렬된다. 플러그에는 34개의 핀이 있다. 플러그 하우징은 검은색 반사 플라스틱으로 만들어졌다.

딥 커넥터 하우징의 바닥을 기준으로 측정해야 하는 경우 Corona 동축 조명 모듈을 권장한다. 평행 빔 경로로 인해 그림자 없이 깊은 구조를 조명할 수 있다.

기준 그리드의 정의 및 정렬
 

측정 목표는 모든 핀이 허용된 부피에 있는지 확인하는 것이다. 이 경우 이 볼륨은 실린더이다. 원통의 반지 름은 xy 평면에서 허용되는 영역을 결정하다. 원통의 높이는 세 번째 차원을 정의한다. 이 경우 플러그에는 2열 17행으로 배열된 34개의 핀이 있다. 대상 치수에 따라 원통형 영역 사이의 거리를 행 및 열 방향으로 정의해야 한다(dis row 및 dis column ).

기준 그리드의 정렬을 위해 이 경우 고정점이 없다. 이것은 핀이 서로에 대해서만 측정된다는 결과를 가져온다. 장점은 자체적으로 결함이 있을 수 있는 고정 지점이 필요하지 않다는 것이며, 단점은 알고리즘이 핀의 절대 위치를 제어하지 않는다는 것이다. 각각의 새로운 측정 작업에 대해 어떤 측정 방법을 사용할지 결정해야 한다. 3D 측정 작업으로 인해 그리드는 6 자유도의 좌표 공간에 정렬되어야 한다.

Halcon은 2D 및 3D 변환을 위한 다양한 기능을 제공한다. 이 경우 포인트 대응에서 3D 변환을 근사화하고 변환 매트릭스로 반환하는 함수가 사용된다. 즉, 이 함수는 두 좌표 세트에서 변환 행렬을 계산 한다. 첫 번째 좌표 세트는 전체 좌표계 원점의 기준 그리드이고, 두번째 세트는 측정된 핀 팁의 좌표이다. 이 기능은 다양한 유형의 변환을 허용한다. 매개변수 ‘rigid’를 사용하면 강체 변환이 계산된다. 이는 회전 및 변환만 허용됨을 의미하며 스케일링은 허용되지 않는다.

측정 방법
 

측정 작업은 다음 섹션에서 설명하는 여러 하위 작업으로 구성된다.

△ 이미지를 로드 및 수정: Halcon에서 이미지를 로드한 후 CS-API를 사용하여 이미지를 수정하고 높이 데이터를 생성한다. 보정된 이미지에서 왜곡 및 기타 이미지 오류가 수정된다. 나중에 핀 팁의 z 위치를 계산하려면 높이 데이터가 필요하다. CS-API를 사용하려면 다음 단계를 수행해야 한다.

• Halcon 핸들 만들기: ‘create_cs_3d_handle’ 핸들은 CS-API의 Halcon 인스턴스이다. 단일 라이센스 동글을 사용하면 동시에 하나의 인스턴스만 열 수 있다. 여기에는 CS-3D 뷰어와 같은 다른 애플리케이션 예가 포함된다.

• 구성 로드: ‘cs_3d_load_config_from_file’ 카메라와 카메라의 보정 매개변수를 CS-API로 전송하는 기능이다. 올바른 파일이 로드되었는지 확인한다.

• 계산 매개변수 설정: ‘cs_3d_set_param’ 이 기능은 3D 계산을 위한 계산 매개변수를 결정한다. 이러한 매개변수를 파악하는 가장 좋은 방법은 CS 3D 뷰어를 사용하는 것이다. 가장 중요한 매개변수는 다음과 같다.

‘height_range_start_in_px’-e.g.:     -17

‘height_range_end_in_px’- e.g.:     23

‘min_correlation_score’ - e.g.:     0.4

‘window_type’ - e.g.:     ‘15x15’ • 이미지 로드: ‘cs_3d_acquire_image’ 이 함수는 이미지를 로드한다. 계산을 시작하기 전에 이미지를 로드해야 한다.

• 3D 계산 수행: ‘cs_3d_stereo’ 이 기능은 3D 데이터를 계산한다. 결과는 구성 파일의 설정에 따라 다르다. 이 경우 3D 포인트 클라우드는 필요하지 않으며 비활성화할 수 있다. ‘enableCombinedView’ 옵션은 이미지 처리에 적합하지 않은 수정된 이미지를 생성하므로이 옵션을 비활성화해야 한다. 이 경우 수정된 이미지(A와 B)가 모두 필요하다. ‘doCalcRectifiedImageB’ 옵션을 활성화해야 한다.

• 추가 결과 얻기: ‘cs_3d_get_result’ 이 기능을 사용하면 추가 결과에 액세스할 수 있다 (이 경우 수정된 이미지 B).

△ 형상 모델로 이미지에서 플러그를 찾는다!

모든 이미지에는 다양한 방향의 플러그가 여러 개 있다. 이러한 플러그를 찾고 위치 및 정렬을 결정 하기 위해 모양 모델 일치가 사용 된다. 따라서 임의의 플러그 이미 지로 형상 모델을 한 번 생성해야 한다. Halcon 알고리즘은 이 모양 모델을 사용하여 이미지에서 모든 플러그를 찾는다. 출력 정보로 이 알고리즘은 플러그의 위치와 방향을 제공한다.

런타임 및 안정성상의 이유로 모양 모델 검색은 수정된 이미지 A에만 적용된다. 이미지 B의 위치에 대해 이미지 A의 결과에 오프셋 값이 추가된다. ROI를 생성하기 위한 매개변수는 매우 정밀할 필요가 없다.

△ 모든 플러그에 대한 ROI 생성

다음 단계는 for 루프에서 발견된 각 플러그에 대해 수행된다. 모양 일치 알고리즘의 정보를 사용하여 플러그에 대한 ROI가 생성된다. ROI는 핀 팁이 예상 되는 영역을 포함한다. 이 단계는 이미지 A와 B 모두에 대해 수행해야 한다.

△ 핀 팁 센터 찾기: 또한 이미지 A와 B에 대해 이 단계를 수행해야 한다. 핀 팁의 중심을 찾기 위해 여러 솔루션 접근 방식이 있다. 다음에는 두 가지 방법이 나와 있다.

• XLD 윤곽: 에지 파인더 알고리즘을 사용하면 서브픽셀 정밀 XLD 윤곽선을 생성할 수 있다. 이 XLD 윤곽 선은 정렬되고 연결된다. 유효하지 않은 XLD 윤곽선을 선별하는 기준은 윤곽선의 길이일 수 있다. 최종 단계에서 컨투어는 닫힌 모양으로 닫힌다. 닫힌 형상의 면적 중심을 계산할 수 있다. 이 모양의 영역 중심은 핀 팁의 이 중심을 나타낸다.

• 그레이 값 임계값: 핀 팁은 플러그 바닥보다 훨씬 밝다. 이 속성은 회색 값 임계값으로 핀 팁을 감지하는데 사용할 수 있다. 핀에 속하지 않는 영역은 추가 알 고리즘으로 분류할 수 있다. 유효하지 않은 영역을 선별하는 기준은 면적 또는 밀집도가 될 수 있다. 핀 팁의 중심은 핀을 나타내는 영역의 영역 중심으로 정의할 수 있다.

△ 핀 팁 중심 좌표 쌍을 정렬
 

플러그의 정렬에 따라 핀 팁의 좌표 쌍(행/열)이 무작위 순서로 배열 된다. 참조 띠와 비교하려면 좌표가 사전 정의된 순서를 따라야 한다. 이 미리 정의된 순서를 달성하기 위한 첫 번째 단계는 좌표 쌍에 회전식 2D 변환 매트릭스를 적용하는 것이다. 회전 각도는 형상 모델 매칭에서 알 수 있다. 회전된 좌표 쌍은 플러그 정렬과 무관하다.

이렇게 하면 모든 플러그의 좌표 쌍을 비교할 수 있다. 그 다음에는 핀팁 중앙이 있는 두 개의 데이터 세트(원래 데이터 세트와 회전된 데이터 세트)가 있다. 회전된 것은 다음 단계에서 두 데이터 세트를 정렬하는 데 사용된다.

첫 번째 정렬 단계는 열을 나타내는 두 그룹의 핀을 분리하는 것이 다. 플러그의 다리가 있는 쪽의 핀은 ‘다리 쪽’ 그룹에 속한다. 모든 열값의 평균보다 큰 열 값을 가진 핀이다. 18에서 33까지의 숫자가 행값이 오름차순으로 이 그룹에 할당된다. 다른 핀은 ‘반대편’ 그룹에 속한다. 0에서 17까지의 숫자가 행 값에 따라 오름차순으로 이 그룹에 할당된다. 이미지 A와 B의 핀 팁의 좌표 쌍은 동일한 방식으로 정렬되어야 한다.

△ 원근보정 좌표계산
 

빔 경로가 원추형으로 넓어짐에 따라 물체의 거리에 따라 광학 시스템의 해상도가 변경된다. 이로 인해 측정 오류가 발생한다. 3D 데이터를 알고 있기 때문에 3D-API는 이 오류를 보상할 수 있다. 이를 원근 교정 또는 중앙 보기라고 한다. 구성 파일의 ‘enableCombinedView’ 매개변수를 사용하면 정류된 원근 보정 이미지를 계산할 수 있다. 원근 보정으로 인해 이미지에 일부 인공물이 포함된다. 이러한 아티 팩트는 가장자리 감지 또는 임계값 및 필터 기능이 있는 영역 분할과 같은 이미지 처리 작업을 복잡하게 만들 수 있다. 따라서 이 예에서는 원근 보정 없이 수정된 이미지가 이러한 작업에 사용된다.

△ 높이 측정

핀의 높이 측정을 위해 각 핀 팁 중간의 작은 영역이 선택된다. 이 영역은 각 핀의 가장 높은 부분을 나타낸다. 이 영역의 중간 회색값은 핀 높이를 나타낸다. ‘cs_3d_gray_to_mm’ 함수는 회색 값을 mm 단위의 결과로 변환한다.

△ 참조 그리드 생성
 

참조 그리드는 x, y 및 z 좌표점 쌍의 집합이다. 첫 번째 단계에서 참조 그리드는 좌표계의 원점에 대해 대칭으로 정의된다. Halcon 알고리즘은 측정된 핀 팁(최소 제곱 오차)에 적용될 때 가장 작은 편차 오차가 발생하는 변환 행렬을 계산한다.

이 경우 핀 팁을 나타내는 좌표는 참조 그리드에서 변환된다. 이를 통해 추가 단계에 표준 좌표계를 사용할 수 있다. 핀 팁이 허용 범위에 있는지 쉽게 확인할 수있다. 핀 팁의 원근 보정 좌표가 이 기능에 사용된다.

△ 편차 계산

참조 그리드에 대한 핀의 편차를 계산하려면 빼기만 하면 된다. x 및 y 방향의 결과는 픽셀 단위이다. 정류된 이미지가 측정 작업에 사용되기 때문에 µm 단위의 결과를 얻으려면 픽셀 단위의 결과에 30µm/px(카메라 해상도)를 곱해야 한다. 핀 끝이 원통형 체적의 허용 가능한 원 영역에 있는지 확인하려면 x,y 방향의 벡터 추가 결과가 허용 반경보다 작아야 한다.

결과 표시
 

결과는 이미지와 다이어그램으로 표시된다. 이미지의 그래픽 결과는 x 및 y 방향의 편차를 보여준다. 검은색 십자가는 측정된 핀 팁 중심을 나타낸다. 파란색 십자가는 맞춤 참조 그리드를 나타낸다. 파란색 십자가 주변의 원은 x-y 평면에서 허용되는 영역이다. 원이 녹색이면 핀이 xy 평면의 사양을 충족하고 원이 빨간색이면 핀이 범위를 벗어난다. 

이 경우 허용 반경은 50µm로 설정된다. 핀 5는 이 기준을 충족하지 않는다. 여기서 z 방향의 허용 편차는 ±70µm이다. 모든 핀이 이러한 기준을 충족한다. 참조 그리드와 측정된 핀 팁을 표시하는 십자 표시가 있는 이미지는 원근 보정 정류 이미지이다. 이 이미지는 시각화 목적으로만 계산된다. 시각화가 비활성화된 경우 이 이미지가 계산되지 않는다. 이미지의 검은색 영역은 원근 보정으로 인해 발생한 아티팩트이다.

측정 확인
 

검증의 목적은 측정 결과의 분산을 계산하는 것이다. 산란이 작을수록 평가 시스템이 더 잘 작동한다. 측정 작업의 결과는 기준 그리드에서 x,y 및 z 좌표의 핀 팁 편차이다. 다음에서는 동일한 커넥터의 여러 측정에 대해 이러한 편차를 비교한다.

△ 검증 접근법: 측정의 평가는 재현성과 반복성으로 구분된다. 두 측정 모두 동일한 플러그의 25개 이미지 스택을 획득한다. 시스템의 열동작으로 인한 측정 오류를 방지하기 위해 시스템(카메라 및 조명)은 데이터 수집이 시작되기 1시간 전에 켜진다.

반복성 측정은 최소한의 외부 교란 변수로 시스템을 평가한다. 따라서 플러그는 선형 스테이지에 한 번 배치되며, 그 후 플러그를 재배치하지 않고 25개의 이미지가 획득된다. 재현성 측정을 위해 플러 그는 획득할 때마다 수동으로 교체된다. 모든 이미지에서 위치와 정렬이 조금씩 변경된다.

혼동을 피하기 위해 다음 지정이 도입되었다.

MRxy = xy deviation of the pin to the reference grid

MRZ = z deviation of the pin to the reference grid

결과의 통계적 평가를 위해 측정 그리드에 대한 핀의 편차가 x, y 또는 z 방향인 날씨와 관련이 없다. 따라서 지정 MR은 이 모든 결과를 나타낸다.

n = number of images m = varible that represents the pins

결과의 통계적 평가를 위해 측정 그리드에 대한 핀의 편차가 x, y 또는 z 방향인 날씨와 관련이 없다. 따라서 지정 MR은 이 모든 결과를 나타낸다.

두 번째 단계는 분산을 계산한다.

다음 단계에서는 커넥터의 각 핀을 나타내는 36개의 분산이 있는 벡터를 평균값으로 줄여야 한다.

표준 편차는 분산의 제곱근이다.

프로그램은 또한 양방향의 평균값에서 가장 큰 편차를 결정한다. 측정값의 분포는 측정값 히스토그램에 그래픽으로 표시된다.

△ 검증 결과: 다음 부분에서는 검증 결과를 보여주고 서로 비교한다. 총 4개의 결과가 있다. 코드에는 핀 중심을 감지하는 두 가지 방법이 나와 있다. 이러한 각 방법은 반복성 및 재현성 측정에 적용된다.

• 반복성/핀 팁 중심 – XLD 윤곽

XY 표준 = 1.98µm

XY 편차 최대 = 6.28µm

XY 편차 최소 = -9.66µm

Z 표준 = 13.34µm

Z 편차 최대 = 67.94µm

Z 편차 최소 = -65.83µm

• 반복성/핀 팁 중심 – 임계값

XY 표준 = 2.35μm

XY 편차 최대 = 8.27μm

XY 편차 최소 = -8.83μm

Z 표준 = 13.74μm

Z 편차 최대 = 59.48μm

Z 편차 최소 = -61.92μm

• 재현성 / 핀 팁 중심 – XLD 윤곽

XY 표준 = 2.89μm

XY 편차 최대 = 14.61μm

XY 편차 최소 = -12.32μm

Z 표준 = 15.07μm

Z 편차 최대 = 55.16μm

Z 편차 최소 = -75.87μm

• 재현성/핀 팁 중심 – 임계값

XY 표준 = 3.45μm

XY 편차 최대 = 14.25μm

XY 편차 최소 = -15.56μm

Z 표준 = 15.09μm

Z 편차 최대 = 55.32μm

Z 편차 최소 = -75.97μm

△ 검증 해석: z 편차의 표준 편차는 모든 측정 행에서 거의 동일하다. 이것은 매우 그럴듯한 결과이다. 이 값의 정확도는 이미지 A와 B에서 해당 부품을 찾는 블록 일치 알고리즘의 정밀도에 의해 제한된다. 여기서 플러그의 변위는 일치에 큰 영향을 미치지 않는다. 또한 핀 중심 좌표의 정밀도는 높이 측정에 영향을 미치지 않는다. 높이 측정은 자율 블록 매칭 알고리즘에 의해 실현되기 때문이다. 카메라는 10µm의 높이 해상도로 지정된다. 이 경우 약 14µm의 표준 편차가 그럴듯한 결과이다.

예상대로 반복성 측정에 대한 xy 편차의 표준 편차는 재현성 측정보다 낮다. 플러그의 움직임으로 인해 플러그 정렬에 약간의 차이가 발생하여 이미지에서 플러그가 다른 모양으로 나타난다.

이것은 커넥터를 더 정확하게 장착하면 측정 정확도가 더 높아진다는 것을 나타낸다. 핀 중심 측정의 경우 XLD 에지 파인더 알고리즘이 더 나은 결과를 제공한 다. 하위 픽셀 정확도 알고리즘이 백그라운드에서 작동하다. 이는 단순한 임계값 알고리즘에 비해 성능을 향상시킨다.

XLD 윤곽 알고리즘을 사용한 재현성 측정과 관련된 값은 xy-편차 평균의 R 6σ = 17,3μm 및 z편차 평균 Z 6σm = ±90.42μm 범위의 값의 99.99966%이다. 이는 측정 값이 정규 분포를 따른다는 가정 하에서 유효하다. 다음에서 필수 공차가 있는 예제 프로젝트 R tolerance 이 예의 공정 능력 지수는 다음과 같이 계산된다.

C p ≥ 2는 6-시그마 품질 표준에 해당하며, 측정 프로세스는 이 예제의 요구 사항을 충족한다.

요약
 

이 기사에서는 Chromasens 3DPIXA 카메라가 커넥터 핀 검사 분야 에서 사용될 수 있음을 보여주었다. 모든 단일 팁의 3D 위치는 빠른 획득 속도로 측정할 수 있다. 3DPIXA 30μm, 플러그 폭 20mm, 플러그 길이 60mm(장착 포함) 를 사용하면 초당 50개의 플러그를 측정할 수 있다. (연속 플러그 5 개, 초당 10개 행) 핀 팁의 3D 위치에서 측정된 공차는 자동차 산업 에서 요구하는 고품질 표준을 충족하는데 적합하다.

자료제공: Chromasens(www.chromasens.de)