머신 비전 응용 분야 4가지 기본 사항

자료제공 : Teledyne DALSA

1960년대 미국 TV 시리즈 “우주가족 로빈슨(Lost in Space)”을 보면 주인공 로빈슨에게 위험한 상황이 닥쳤을 때 로봇이 “Danger Will Robinson!”이라 외치며 상황을 알린다. 머신 비전 애플리케이션 엔지니어가 할 수 있는 일은 이런 ‘Danger Will Robinson’ 모드와 같이 사용자가 원하는 특정 상황을 알릴 수 있는 애플리케이션을 만들어 알려주는 것이다.
만약 장래의 고객이 머신 비전을 처음 접하는 경우 그들이 생각조차 하지 못했던 애플리케이션을 통해 경험할 수 있는 다양한 기회가 있다. 머신 비전 애플리케이션은 금속 부품의 모양과 방향이 반사를 일으켜 혼동이 생길 수 있음에도 불구하고 금속 부품에 대한 몇 가지 측정이 가능하며, 조립 라인에서는 불량인 부분을 걷어내는 것 또한 가능하다. 이 외에도 음료 제조과정에서 내용물이 채워진 음료수 병에 어떠한 불순물이 포함되지 않았는지 확인도 가능하다.

애플리케이션 선택 시 고려사항
머신 비전 애플리케이션을 적절하게 사용하기 위해서는 내가 원하는 환경을 고려해야한다. 제품 검수 라인 위의 병이 항상 카메라에 내용물을 보일 수 있도록 방향을 잡을 것인가? 아니면 라벨이 방해되기 때문에 회전 시켜야 하는가? 머신 비전 애플리케이션은 바코드를 읽는 것뿐이기 때문에 다른 환경은 사전에 충분히 확인을 해야 한다.
머신 비전 애플리케이션에는 네 가지 기본 단계가 있다. 사용자들에게는 실망, 좌절감 및 비탄을 안겨주지 않고, 응용 프로그램 개발자에게는 불쾌한 놀라움을 주지 않기 위해 각 제품을 신중하게 고려하여 선택해야한다.
1. 이미지 획득
2. 이미지에서 정보 추출
3. 정보 분석
4. 결과 외부 송출

이미지 획득
실제로 적용될 작업 조건 아래에서 부품이 구현 가능한 최상의 이미지를 얻기 위해서는 적합한 카메라, 조명 및 렌즈를 선택하는 것이 아주 중요하다. 따라서 Teledyne DALSA는 이를 얻기 위해서 시간과 돈을 투자하기를 조언한다. 이미지 전 처리 프로세서는 때로는 상태가 좋지 않은 이미지를 좋은 이미지로 변환시킬 수 있지만, 그 보다 심각하게 좋지 않은 이미지를 사용 가능한 이미지로 변환하는 것은 훨씬 어려운 과정이다. 미국의 속담 ‘암퇘지 귀로 비단 지갑을 만들 수 없다.’처럼 말이다. 따라서 적어도 상태가 ‘좋지 않음’ 이상의 이미지 퀄리티를 획득하기 위한 장치들이 필요하다.
사진 2를 보면 왼쪽에 위치한 첫 번째 이미지를 찍을 때, 조명 설정이 쓸데없이 밝다는 점에는 모두 동의 할 수는 있을 것이다. 가운데 위치한 두 번째 이미지를 보고 경험이 부족한 사용자는 부품에 위치한 구멍의 위치와 개수를 구분할 수 있기 때문에 ‘사용하기 충분하다.‘라고 생각할 수도 있다. 하지만 이 단계에서 약간의 추가적인 작업만으로도 머신 비전 검수 애플리케이션에서 사용이 아주 적합한 세 번째 이미지로 수정이 가능하며, 이 과정은 성공 확률이 훨씬 높다는 것을 명심해야 한다.
저자는 이 글의 초반에 언급되었던 ‘실제로 적용될 작업 조건 아래에서 부품‘이라는 구절을 강조하고 싶다. Teledyne DALSA의 한 엔지니어는 최근 몇 주 동안 원격으로 미국 이외 지역의 고객을 위해 4개의 유사한 스탬프 금속 부품의 구별이 가능한 애플리케이션을 개발했다. 머신 비전에 대해 잘 알고 있는 한 사용자가 자신이 구성한 조명과 렌즈를 사용하여 얻은 100개 이상의 이미지를 동료에게 보냈다. 사진 상에서 부품 간의 차이점은 작지만 머신 비전 애플리케이션이 감지 할 수 있는 정도였다. 따라서 원격 애플리케이션의 개발은 아주 성공적이라고 여겨졌다.
하지만 몇 주 후 고객은 모든 부품이 블러 처리된 것처럼 약간 흐린 이미지 들을 보내왔다. 사용자는 첫 번째 이미지는 부품이 고정된 상태에서 찍었던 사진이었고 새로운 이미지는 부품이 컨베이어 벨트를 따라 움직일 때 최종 배치 과정에서 찍은 것이라고 설명했다. 첫 번째 이미지에서는 구별 가능했던 차이가 새로운 이미지에서는 희미함으로 인해 부품의 작은 차이를 구분할 수 없을 정도였다. 사용자는 가장 짧은 노출 시간으로 흐림을 제거하는 방법을 조사해 보았지만 해결할 수 없어서 엔지니어에게 연락을 청했던 것이었다.

이미지에서 정보 추출
인간은 패턴 매칭 기술을 연마하고 신경 네트워크를 개발하기 위해 수많은 시간을 보냈다. 그러한 결과, ‘여러 위젯 중 특정한 위젯 찾기’와 같이 이전에 보지 못했던 이미지로 제시된 시각적 작업을 수행하도록 지시 한 경우에도 배경 노이즈는 무시하고 필요한 부분을 구별해낼 수 있게 되었다. 이런 성능을 컴퓨터와 비교하는 것은 바보 같은 짓이다.
사진 3을 예시로 보자면, 사용자는 FOV 내 어디에든 위치할 수 있는 원을 측정하는 애플리케이션을 사용하고 싶어 한다. 이 작업은 인간에게는 쉬운 일이지만 머신 비전에는 까다로운 작업이다. 불규칙한 조명과 노이즈로 인해 원의 경계 구분이 어려워지기 때문이다. 다른 방법은 사용자가 원하는 처리량에 비해 너무 오래 걸릴 수 있다.
하지만 머신 비전 애플리케이션을 적절하게 조절하면 이러한 처리도 가능하다. 그러기 위해서 머신 비전 시스템은 객체의 크기를 명시적으로 측정하거나, 높은 신뢰성으로 형상을 찾거나, 색상이 있어야하는지 여부를 결정하도록 프로그래밍 되어야 한다. 일반적인 머신 비전 시스템은 예상치 못했던 씬 변경, 즉 초점의 저하, 측정 대상의 스케일 변경, 로드 독 베이 도어 열림 및 외부 조명 설정 플러딩 등을 처리하도록 구성되지 않았기 때문에 사진 3과 같은 작업을 수행하지 못했던 것이다.
Teledyne DALSA의 엔지니어와 스탬프 금속 부품 이야기로 돌아가자면, 흐림 문제가 발생하기 전에도 사용자는 동일한 부품으로 촬영한 두 번째 배치의 이미지를 보냈다. 두 번째 이미지에는 사실 첫 번째 이미지의 배치에는 없었던 기능이 있었으며 이러한 기능이 Teledyne DALSA의 엔지니어가 원래 이미지에 성공적으로 적용한 소프트웨어 도구를 방해했던 것이었다.
문제의 이유를 알아낸 후 이러한 기능을 무시하도록 소프트웨어 도구를 수정해야했다. 사용자는 새 기능이 부품을 구별하기 위해 분석되는 기능과는 관계가 없으므로 이러한 새로운 이미지가 왜 문제를 일으켰는지 이해하지 못했다.
요즘 인공 지능이라는 새로운 물결에 대해 시장의 관심이 크다. 이러한 관심은 저자의 생각보다 더 오래 전부터 이어져 온 것이며, 대학을 졸업 한 이후로 적어도 3 번째이다. 독일 슈투트가르트(Stuttgart)에서 개최된 VISION 2016에서 몇몇 회사는 ‘딥 러닝’ 소프트웨어를 선보였다. 인상적이었지만 고객들은 가능한 한 적은 돈으로 수백 밀리 초 이내에 산업 환경에서 문제를 해결하려는 경향이 있다. 따라서 아직은 분명하지 않지만 딥 러닝 기술이 얼마나 쉽게 또는 경제적으로 공장 현장에 도입될 것인가에 대해 업계가 주목하고 있다.

정보 분석
3 단계는 선택이 가능한 단계이다. 예를 들어, 2 단계의 이미지에서 추출한 정보를 파일에 기록해야하는 경우는 필수적이지 않다. 그러나 이보다 더 많은 경우에 사용되는 합격/불합격 결정을 내리기 위해서는 정보를 분석해야한다. 따라서 대부분의 애플리케이션에서 3단계는 정량화되어 있어 간단하게 해결이 가능하다. 만약 부품이 치수 기준에 맞지 않거나 라벨이 구부러지거나 병에 이물질이 들어있는 경우는 기준이 분명하기 때문에 불합격 처리가 된다.
하지만 때로는 합격/불합격 기준이 불분명하다. 만약 스마트 폰 케이스를 검수하는 과정에서, 스마트 폰 케이스에서 허용되는 최대 스크래치의 크기는 얼마인가? 0.05㎜ 직선 스크래치가 0.05㎜ 나선형 스크래치보다 나쁜가? 최종 사용자들의 판단기준이 제각각 이기 때문에 정량적 답변을 제공하기는 어렵다.
수년간 동일한 육안 검사를 수행 한 두 명의 직원이라고 하더라도 합격과 불합격의 기준이 다소 주관적이기 때문에 결론이 완전히 같지 않다. 또한 동일한 부분에 대해 합격과 불합격이 나눠질 수 있다.
몇 년 전에 저자는 Teledyne DALSA의 소프트웨어가 합격과 불합격을 구별 할 수 있는지 테스트하기 위해 40 개의 금속 실린더 박스를 받았다. 실린더는 다양한 크기의 긁힌 자국과 패인 자국을 갖고 있었지만 어떤 것이 합격이고 어떤 것이 불합격인지가 표시되어있지 않았다. 저자는 실린더를 보낸 고객에게 어느 것이 합격이고 불합격인지 물어 보았다. 그러나 고객은 "라벨 하는 것을 잊었네요. Teledyne DALSA의 소프트웨어로는 알아낼 수 없나요?"라고 답변했다.

결과 외부 송출
‘외부 송출’이란 말은 애플리케이션의 분석 부분을 넘어서는 것이다. Teledyne DALSA의 제품은 대부분 단독으로 작동하지 않는다. 일반적으로 상호 작용해야하는 다른 하드웨어 및 소프트웨어가 있다. Teledyne DALSA는 -TCP/IP 및 직렬 통신, PLC 프로토콜 등 많은 인터페이스를 제공하지만 다른 회사 제품의 신뢰성까지 보장 할 수는 없다. 통신 문제가 있을 때 Teledyne DALSA의 잘못이 아니라고 핑계를 대는 것이 아니다.
Teledyne DALSA 또한 완벽하지 않다. 그러나 우리의 소프트웨어가 아주 멀리 위치한 노스 다코타의 공장에서 PLC로 데이터를 전달할 수 없는 이유를 알아내기 위해 끊임없이 고민했던 경험이 있다. 노스 다코다 공장은 Teledyne DALSA가 방문 할 수 없고 원격 제어도 불가능한 곳이었다. 하지만 수 많은 시도 끝에 두 제품이 서로 통신할 수 있도록 제대로 구성되지 않았음이 밝혀졌다.
대다수의 머신 비전 애플리케이션에 대한 중요한 측정 기준은 처리 시간, 초당 또는 분당 획득 및 분석 할 수 있는 부품 수를 뜻한다. 다양한 애플리케이션에서 머신 비전의 셀링포인트(selling point)는 인간이 할 수 없는 작업을 수행 할 능력이 아니라 오히려 24 시간 동안 다른 생각을 하거나 다른 것에 정신 팔지 않고 일을 할 수 있다는 점이다.
알렉산더 포프(Alexander Pope)가 쓴 “A little learning is a dangerous thing.”이라는 문장은 한국어로 “선무당이 사람 잡는다.”와 같은 뜻이다.
즉, 머신 비전을 제대로 알고 사용해야 한다는 것이다. 머신 비전 솔루션을 개발하는 것은 애플리케이션 개발자와 사용자의 측면에서 학습해야하는 과제를 제시하는 것과 마찬가지 이다. 머신 비전 시스템을 사용하여 만족할만한 좋은 결과를 얻기 위해서는 개발자와 사용자가 문제와 원하는 결과를 잘 이해하고, 서로 소통이 필요하다. Teledyne DALSA의 목표는 안정적인 시스템의 제공과 지속적인 운영에 대한 이해가 이루어지는지 확인하는 것이다.