Just one 10 minutes
머신비전의 이해
나날이 발전을 거듭하며 기대산업분야로 떠오르는 머신비전. 하지만 아직은 생소한 머신비전. 이를 배워 보려면 전공학과도 없고 기본서도 없는 망망대해에서 시작해야 한다. 비전시스템이 준비한 머신비전의 이해. 단지 10분만 투자하여 머신비전인으로 발을 들여놓자.
정리 | 이용준 기자(pen@automotivemnt.com)
머신비전이란 시스템 제어를 위해 이미지 프로세싱을 사용하는 시스템을 말한다. 머신비전 장비는 크게 카메라, 조명, 커넥터, 센서 등으로 구성된다.
산업현장에서 인간의 한계를 넘어선 물량과 감각을 요하기에 머신비전은 탄생했고 진보하고 있다. 이를 통해 품질과 생산성이 향상되고 있는 것이다. 구체적으로 품질제어를 위한 부품의 위치 제어, 치수 측정, 결함 파악, 삼차원 형상 계측 공정 등을 자동화하기 위해 사용된다.
기계에 들어가는 소형 부품의 형상이나 크기를 측정하여 불량품을 판별하고 로봇을 이용하여 자동 조립시 발생하는 위치와 방향을 결정하기도 한다. 또한 사람의 육안으로 판별이 어려운 소형 전자부품의 조립에 이르기까지 전방위적으로 응용된다.
1) 카메라
카메라의 분류
머신비전의 카메라는 기술방법에 따라 두 가지로 분류가 가능하다. 에어리어스캔 카메라와 라인스캔 카메라로 나눌 수 있다. 에어리어스캔 카메라는 영역, 구역을 촬영하는 방식을 따른다면 라인스캔 카메라는 일정한 라인을 촬영한다. 단순히 영역과 라인의 차이에서 시작된 이 방식은 쓰임새가 전혀 다르게 나눠진다.
라인스캔 카메라는 한 개의 라인 펙셀로 이루어져 있다. 1024×768픽셀의 해상도를 가지는 카메라가 라인스캔 카메라에서는 1024×1픽셀의 해상도가 된다. 이는 움직이는 물체를 촬영하는데 유용하다. 그래서 컨베이어 벨트와 같은 곳에서 라인스캔 카메라가 유용하게 쓰인다.
그러나 빠른 생산을 요구할 경우는 프레임율이 중요하다. 카메라의 셔터 스피드와 피사체가 이동하는 속도가 맞아야만 정확한 이미지를 결과하는 것이다. 그러므로 라인스캔 카메라는 카메라 해상도가 높아야 한다.
에어리어 스캔 카메라는 보통 4:3의 비율로 이차원 구조의 영상을 출력한다. 평면 사각센서를 장착하고 있고 한 번에 한 프레임을 촬영한다. 라인스캔 카메라와 달리 주로 이동이 없는 정지 상태에서의 이차원 영상 획득에 사용된다.
스마트 카메라
1990년 후반 이후 스마트 카메라가 널리 대중화되면서 비디오 감시분야와 머신비전분야의 산업에서 스마트 카메라가 사용되기 시작했다. 스마트 카메라는 단순히 영상정보를 획득하고 획득한 영상정보를 저장하는 기존의 카메라 기능에서 벗어나 미리 정해진 여러 가지 필요한 작업을 수행하는 비전시스템이다.
스마트 카메라는 카메라의 볼 수 있는 시각에 스마트한 두뇌의 기능을 추가한 것이다. 카메라로 획득한 영상을 소위 인공지능으로 분석하여 다 분야에서 응용되는 것이다.
오감 중에서도 시각(Vision)은 다른 감각에 비해서 판단을 내리기에 애매한 부분이 있다. 왜냐하면 다른 감각처럼 따갑다, 향기가 난다, 음악 소리가 들린다, 달콤한 맛이 난다 등으로 정의되는 것이 아니라 시각은 많은 양의 정보가 한 번에 주어지기 때문이다. 그러다 보니 판단을 할 수 있는 정보처리능력 또한 깊게 요구된다.
일반 카메라는 렌즈로 본 정보를 내장된 프로세서가 작업을 수행하도록 되어있다. 보는 기능이 주된 용도이기 때문에 화질이나 이미지의 개선을 목적으로 한다.
스마트 카메라가 일반 카메라와 다른 점은 내장된 프로세서에 임베디드 비전 시스템을 도입한 것이다. 임베디드는 말 그대로 끼워 넣는다는 뜻인데 다름 아닌 마이크로프로세서를 끼워 넣은 것이다. 소위 OS라는 컴퓨터의 하드웨어와 소프트웨어를 제어하는 시스템이 장착되어 획득한 이미지를 가지고 결점을 검출하거나 의사결정을 주도한다.
비전 시스템은 영상을 획득하는 기능을 말한다. 여기서의 비전은 사람의 눈이 가시광선(빨, 주, 노, 초, 파, 남, 보)으로 제한된 기능을 하는 것을 넘어서 적외선(Infrared)이나 열 영상(Thermal Imaging)의 영역의 빛도 볼 수 있는 것을 말한다.
스마트 카메라의 특징
스마트 카메라만의 특징은 ASIP(Application Specific Instruction Processor)다. 하나 이상의 프로세서가 지정된 애플리케이션으로 획득한 이미지를 처리하는 것이다.
예를 들어 차량번호 인식의 경우 ASIP는 자동차 번호판을 인식하고 숫자와 글자를 인식하기 위한 알고리즘을 DSP(Digital Siganl Processing) 즉, 디지털로 신호를 처리한다.
스마트 카메라는 임베디드 비전 시스템의 특수한 타입에 속한다. 그 안에는 이미지 센서, ASIP, 인터페이스 등 작업수행에 필요한 시스템 요소가 내장되어 있다.
그러나 스마트 카메라가 독립적인 카메라 형태를 갖추고 있지는 않다. 임베디드 비전 시스템 외에 스마트 카메라로 분류할 수 있는 소형 비전 시스템이 있다.
구체적 사례
자동화 및 안전을 위한 열화상 카메라
고품질과 낮은 원가, 높은 생산성을 유지하는 것이 생산라인의 엔지니어와 기술자들의 임무다.
이를 보완하는 자동화용 적외선 열화상카메라는 머신비전, 프로세스 제어 및 품질보증에 효과적인 도구다.
자동차, 전지·전자 장치 제조공정 등은 대부분 열 관련 데이터와 연관되어 있다. 자동화용 적외선 열화상카메라는 머신비전의 수준을 한 차원 높였으며 비접촉식 정밀 온도측정, 비파괴 시험과 관련된 용도에 솔루션을 제공한다.
자동화용 적외선 열화상카메라
고정 설치식(자동화용) 열화상카메라는 위치에 구애받지 않고 어디에든 설치해 온도 차이를 측정하여 열 패턴을 가시화한다. 잘 알려진 FLIR 시스템의 A-시리즈는 소형이면서도 다양한 기능을 탑재했다.
PC를 통해 완전히 제어되며, 각종 표준과 호환된다. NI, 코그넥스, 매트록스, MV텍, Stemmer Imaging 등 여러 업체의 비전 소프트웨어와 연결되기도 한다.
업계 적용사례
자동차 산업
포드자동차 그룹은 연간 판매 순위로 미국 2위, 세계 4위의 자동차 제조업체다. 포드에서는 3대의 고정형 열화상 카메라를 설치하여 앞유리와 뒷유리 히팅시스템, 에어컨의 공기 배출구 온도 등을 시험한다.
카메라 중 한 대는 전면에 설치되어 앞유리를 검사하고 한 대는 후면에 설치되어 뒷유리를 검사한다. 그리고 다른 한 대는 오른쪽 문의 창을 관측할 수 있는 위치에 설치되어 앞 뒤 유리창과 에어컨 배출구 온도를 측정한다.
열화상 카메라로 측정한 데이터는 PLC로 전송되며 여기서 미리 규정된 표준과 비교된다. 측정값이 규정 범위에 따라 녹색 또는 적색으로 표시된다. 만일 적색 불합격 표시등이 켜지면 그 차는 수리하는 곳으로 반송된다. 녹색이 표시되면 다음 시험장소로 이동하게 된다.
식품산업
식품산업에서는 생산, 운송, 보관, 판매 등 전체 과정에서 썩기 쉬운 상품의 온도를 세심하게 통제해야 한다. 그래서 열화상카메라를 사용하여 공정을 마친 식품을 검사한다. 그 크기 또한 작아서 공정마다 설치하여 공정의 효율개선에 도움을 준다.
구체적으로 오븐으로 구운 식품, 마이크로파로 조리한 식품, 곡물 또는오븐의 적정온도 검사, 냉동식품 포장칸의 적절한 충전, 셀로판 밀봉의 무결성 확인, 냉장고 칸과 냉동고 칸의 감시 등에 두루 응용된다.
2) 조명
빛은 파장(Wave Length), 명암(Intensity), 편광(Polarization)의 3가지 특성으로 표현된다. 파장은 음파나 전자파와 같이 정지된 상태에서 반복되는 모양을 nm(nanometer)값으로 표현하는 것을 말한다. 명암은 눈으로 구별할 수 있는 강도를 말하는 반면 편광은 한정된 방향으로만 진동하는 광파를 말한다.
빛은 머신비전에서 중요한 부분이다. 빛은 실내조명이나 태양광처럼 환경적인 것일 수도 있고 비전 애플리케이션에 사용되는 특수한 조명일 수도 있다. 머신비전 애플리케이션은 빛의 변화에 민감하다. 그래서 조명을 사용하여 검사에 용이하도록 대상물의 특징을 부각시킨다.
일루미네이션(Illumination)이란 대상물에 빛을 비추는 방법이며 조명이란 빛을 발생시키는 실제 램프를 말한다.
직접반사와 확산 반사
검사제품의 표면은 형태, 광택, 색상, 재질 등에 있어서 다양하다. 다양한 형태의 제품을 검사하는데 있어서 카메라와 조명의 위치를 변경하여 제품검사를 용이하게 한다.
조명 거리 활용
동일한 조명에서도 제품과 조명의 거리를 변경하여 취득된 이미지를 변경할 수 있다. 검사내용에 따라 거리를 변경하여 최적의 이미지를 구현한다.
조명 방향 활용
동일한 제품을 가지고 조명의 방향, 상부와 하부의 조명 설치 조건에 의해 필요한 이미지를 얻는다.
조명 색상의 반사, 흡수 활용
여러 가지 색상을 가지는 제품의 경우 조명 색상에 따라 반사, 흡수의 차이로 이미지 차이를 볼 수 있다.
조명 형태 활용
베어링의 스크래치를 검사하기 위해 그림처럼 조합하여 사용이 가능하다. 중간에 있는 이미지의 경우 스크래치가 보이지만 좌우 이미지의 경우 스크래치가 보이지 않는다.
조명 파장 활용
그림은 IR(Infra Red)영역을 촬영한 것이다. 조명 파장에 따라서 바코드 마크만 강조시킬 수 있다.
조명 조사 위치변화 활용
조명 및 카메라의 위치에 따라서 헬레이션(Halation)현상을 바꾸어 제어할 수 있다.
구체적 사례 - LED 조명
LED 조명 시스템은 점광에 가까운 LED를 집합시켜 구성함으로써 광학적 구현이 용이한 장점을 제공한다. 특히 LED 조명시스템은 타조명에 비해 빛의 조사범위, 각도, 평행도 등 화상처리용 조명 설계에 우월하며 안정적이고 긴 수명을 보장하면서도 빠르고 정확한 응답속도를 가진다.
연속점등으로 휘도차가 반감되는 시기는 10,000~20,000시간으로 수명이 길다. LED는 여러 조명 절환과 단일 조명 내의 복수 블록 절환으로 기능한다. 또한 고주파 펄스 변조방식으로 점등도 가능하다.
3) 연결
머신비전 케이블은 카메라와 메인 시스템 사이를 연결해주는 케이블로 일반 케이블보다 더욱 높은 전송량과 속도와 안정성을 필요로 한다. 카메라 성능이 아무리 뛰어나더라도 케이블 성능이 좋지 않다거나 신호 왜곡으로 오류를 범하게 된다면 작업 전체가 마비된다. 그렇기에 애플리케이션에 따라 맞춤 설계 기술이 필요한 제품군이기도 하다.
머신비전 케이블은 커넥터와 선이 결합되어 만들어진다. 이 중 선 부분은 각 인터페이스별로 다른 형태를 취한다. 이는 인터페이스별로 영상을 전달하는 방식이 전부 다르기 때문이다. 커넥터 부분은 인터페이스와 카메라 형태에 따라 모양이 달라진다.
예를 들어 GigE케이블은 흔히 LAN선으로 알고 있는 RJ45커넥터를 쓴다. 하지만 같은 RJ45 커넥터라고 해도 제조업체에 따라 잠금 나사스크류 플러그가 없을 수도 있고 좌우나 상하로 달려 있을 수도 있다. 또한 USB 2.0, 3.0의 선도 제조사 및 기종별로 납작하고 넓은 형태의 타입 A와 좁은 형태의 타입 B로 나뉜다.
4) 인터페이스의 종류
Analog Camera Bus
산업용 아날로그 카메라는 카메라로부터 아날로그 비디오 신호를 전송하기 위해 동축 케이블을 사용한다. 카메라에서 전송되는 아날로그 비디오 신호는 TV에서 비디오 신호로 방송하는 것과 동일한 형태를 가진다. 컬러 비디오 신호에 대한 두 가지 표준은 NTSC(National Television Systems Committe)와 PAL(Phase Alternative Line)이다.
NTSC는 북미, 일본에서 주로 사용되며 PAL은 유럽에서 일반적으로 사용된다. 흑백 비디오 신호에 대한 비디오 표준은 EIA(Electronic Industries Association) RS170과 CCIR(Consultative Committee for International Radio)이다. RS170은 북미에서 CCIR은 유럽에서 주로 사용한다.
아날로그 카메라는 보통 40MHz미만의 픽셀 클럭 속도를 가지며 클럭 주기당 단 1픽셀만을 전송한다. PAL 표준(11MB/s를 약간 상회하는 속도로 데이터 전송)에서 최고의 처리량이 발생한다.
아날로그 카메라 버스는 도입이 된지 오래 지난 인터페이스로 가격이 저렴하지만 프레임 그래버 가격이 높기 때문에 비용장점은 단숨에 사라진다.
Camera Link
디지털 비디오 시장에서 저렴한 맞춤형 케이블이 보급되고 광범위한 디지털 전송이 시작되었지만 매우 다양한 전송방법 때문에 어려움을 겪는 이들이 적지 않았다.
그에 따라 디지털 비디오의 고속 전송을 위한 표준인 AIA(Automated Imaging Association) 개발이 시작되었다. 이것이 바로 카메라 링크의 시초다. 카메라 링크는 카메라와 프레임 그래버간의 케이블, 커넥터 및 신호 기능을 정의한다.
카메라 링크는 머신비전 카메라를 위해 특별히 제작된 고속 시리얼 디지털 버스로 모든 카메라 버스 중에서도 최고의 처리량을 자랑한다. 다양한 애플리케이션을 처리하기 위해 세 가지 계층의 대역폭 구조(Base, Medium, Full)를 제공한다.
Base 구성 카메라는 최고 255Mb/s(3bytes×85MHz)로 수집한다. 일반적인 Base 구성 카메라는 50frames/s 또는 그 이상에서 1M 픽셀 이미지를 수집할 수 있다. Medium 및 Full 구성 카메라는 각각 최고 510MB/s, 680MB/s로 수집한다. 일반적인 Full 구성 카메라는 500frames/s에서 1280×1024 이미지를, 또는 100frames/s 이상에서 4M 픽셀 이미지를 수집한다.
카메라 링크 스펙은 최대 10M 길이의 케이블을 사용한다. 이는 모든 카메라 링크 준수 카메라 및 수집 디바이스와 함께 작동하는 표준화된 케이블이다. Base 구성 카메라는 케이블 한 개를, Medium과 Full 구성 카메라는 두 개를 사용한다.
하지만 카메라 링크 카메라는 카메라로부터 이미지를 수집하는 방법, 통신하는 방법, 수정기능 등을 소프트웨어에 입력하기 위한 특수 카메라 구성 파일을 필요로 한다. 그만큼 사용에 어려움과 불편함이 따른다.
USB
USB는 원래 소비자 가전 시장을 겨냥하여 개발되었으나 점차 산업 시장에서도 모습을 보이기 시작한 인터페이스다.
USB 1.1은 웹 카메라를 구동시킬 정도의 대역폭만 가지고 있었지만 USB 2.0으로 넘어오면서 비디오 스트리밍을 위한 충분한 대역폭을 갖게 되었다. USB 2.0은 상대적으로 저성능 및 저가형 카메라가 있는 머신비전 애플리케이션을 주 파트너로 삼는다.
USB는 프레임 그래버가 필요하지 않다는 면에서 비용 효율성이 높다. 또한 현존하는 카메라 버스 중 가장 저렴하며 따라서 비용에 민감한 분야에서 널리 사용된다. 개별적인 전원 케이블이 필요하지 않다는 것도 장점이다. 반면 케이블 길이가 통상 5미터 미만으로 짧다.
IEEE 1394
IEEE 1394케이블은 1955년에 이미지 작업을 위한 전문 기기로 제작됐다. IEEE 1394a의 속도는 100Mb/s였는데 이는 USB 1.1이 1.5Mb/s인 것과 비교했을 때 높은 수치이다.
또한 아날로그 카메라와 비슷하거나 더 향상된 처리량을 제공한다. 해상도와 프
레임 속도면에서 사용자의 편의에 따라 선택할 수 있는 경우의 수가 많다. 160×120부터 시작해 1600×1200의 해상도, 1875frame/s부터 2400frames/s의 전송속도까지 표준 폭이 넓다.
IEEE 1394카메라는 표준 저가형 케이블을 사용한다. 그리고 CPU에 메모리를 의존하여 프레임 그래버가 필요없다.
1394 Trade Association에서 발족한 실무그룹 IIDC에서는 카메라의 기본 쿼리(query) 및 컨트롤을 허용하는 Vendor-Agnostic 하드웨어 레지스터 맵을 정의하는데 이로 인해 여러 다른 하드웨어 및 소프트웨어 간의 상호운용성이 촉진되었다.
GigE Vision
GigE Vision은 2006년에 도입됐다. AIA(Automated Imaging Association)에서는 GigE Vision으로 불리는 Gigabit Ethernet에 구축된 산업용 카메라 표준을 정의했다.
Gigabit Ethernet은 높은 대역폭, 긴 케이블을 자랑한다. 따라서 보안, 장거리 비전 애플리케이션에 적합하다.
이더넷은 원래 주변기기를 연결하기 위해 만들어진 것이 아니었다. 이는 USB나 IEEE 1394 등의 장비가 가진 목적(주변기기와 컴퓨터 간의 연결)과 차이를 보인다. 이는 Gigabit Ethernet이 플러그 앤 플레이 알림을 제공하지 않는 이유이기도 하다.
IEEE 802.3 통신 패킷은 TCP나 UDP 프로토콜을 사용하여 전송되지만 GigE Vision은 높은 전송속도를 얻기 위해 UDP를 사용한다. TCP나 TCP/IP 기술은 패킷 전송과 패킷 순서가 보장되어 패킷이 보내진 순서대로 전송되지만 속도가 느리다.
하지만 UDP 프로토콜은 패킷의 전송이나 순서가 보장되지 않지만 고속으로 전송이 가능하다.
UDP 프로토콜은 빠른 속도로 패킷을 전송하는 대신 패킷이 사라지거나 순서가 뒤바뀔 위험이 있다. 때문에 GigE Vision은 단순히 UDP만을 사용하면서 순서와 신뢰도를 얻기 위해 특별한 프로토콜을 추가하게 되었다.
카메라를 제어하기 위한 프로토콜인 GVCP(GigE Vision Contro Protocol)와 애플리케이션의 카메라 데이터 흐름을 위한 프로토콜인 GVSP(GigE Vision Stream Protocol)이 그것이다.
