비전시스템의 다양한 활용사례 / 8) 네트워크 기반 머신비전
일방통행의 시대는 저물었다
산업현장에서 머신비전은 없어서는 안 될 요소가 되었다. 인간의 눈을 대신할 기술이라는 취지에 걸맞게 머신비전은 인간의 능력으로 수행할 수 없는 많은 기술을 가능케 하고 있다. 최근에는 이러한 기술이 공장자동화 분야는 물론이고 비 산업적인(Non-industrial) 분야로까지 확대되는 추세이다. 반도체·전자·자동차·측정 및 계측 분야와 같은 공장자동화부터 국방·항공우주·연구·생체인식·의료·농업에 이르기까지 머신비전이 나아갈 수 있는 길은 아직도 무궁무진하다.
정리 | 윤진근 기자(pen@automotivemnt.com)
머신비전이 눈에 띄게 성장하기 시작한 것은 언제일까? 의견이 분분하겠지만, 필자는 두 가지 분기점을 꼽고자 한다. 첫 번째는 물론 카메라를 이용해 자동으로 검사가 진행되던 때, 즉 머신비전 검사 시스템이 태동하는 순간이다. 그리고 두 번째는 카메라가 네트워크를 활용해 서로 소통하기 시작한 시점이다.
SNS니 소통이니 통섭이니 하는 이야기들이 서점과 방송가는 물론이고 가정집 밥상에서도 들려오는 시대다. 시대가 시대다보니 네트워크 기반 머신비전이 어떤 것을 뜻하는지 논하는 일은 사실 무의미하다. 물론 ‘서로 연결해 정보를 주고받는 머신비전 시스템’이라고 정의할 수는 있겠다. 하지만 단순하게 문장으로 결론을 내리기보다는 사용자가 스스로 체감하는 편이 더욱 빠르고 정확하다.
이번 기사에서는 네트워크 기반 머신비전의 활용사례를 다룬다. 카메라와 카메라, 카메라와 PC, 그리고 카메라와 인터넷 등 여러 수단으로 이루어진 머신비전의 사례를 소개한다.
최근 수년 간 관련 사례가 급증한 탓에 무질서하게 보일지 모른다. 하지만 네트워크를 기반으로 한 머신비전이 어느 영역에까지 진출해 있는지, 얼만큼 발전해 왔는지와 관련해 썩 흥미로운 이야기들을 담았다.
>> 대표적 활용사례 모음
지폐를 검사하는 라인스캔 카메라
유로화같은 현대 지폐에 익숙한 사람이라면 지폐의 앞면에 그래픽이 인쇄되었다는 것을 알고 있다. 또 이 그래픽이 지폐의 각도에 따라 홀로그램처럼 모습을 바꾼다는 것을 눈치 챘을 것이다.
이 효과는 오목판 인쇄(요판 인쇄라고도 한다) 방법에 의해 만들어진 것이다. 지폐 용지 위에 이미지를 인쇄할 때, 이미지는 지폐의 오목한 판면에 들어가 움푹 들어간 부분에 잉크를 채운다. 그 다음 인쇄 판면을 깨끗이 닦아 편평하게 만들어 오목한 부분의 티가 나지 않게 한다. 마지막으로 판면에서 종이로 잉크를 전송하기 위해 큰 압력을 가한다. 그러면 지폐의 앞면은 약간 올라오게 되고, 반면 뒷면은 살짝 움푹하게 들어간다.
한편, 지폐를 생산하는 일련의 과정은 매우 빠른 웹 공정으로 이루어진다. 지폐 생산 시스템을 통해 8시간마다 4만 장의 지폐를 만들 수 있다.
하지만 이 지폐 생산에도 문제가 발생한다. 가끔 결함 제품이 발생하는 것. 따라서 지폐 제조업체는 인쇄된 지폐가 일관적인 품질을 유지하도록 만들기 위해 지속적으로 프레스 출력을 관찰해야 한다.
이를 돕기 위해 Chomasens의 엔지니어들이 나섰다. 특수 작업에 특화된 자동 광학 3차원 검사시스템을 만든 것.
이 시스템은 2012년 11월 독일 슈투트가르트의 VISION 쇼에서 공개되었던 이 회사의 allPIXA CCD 컬러 라인스캔 카메라 두 대가 사용되었다. 이 회사에서 만든 250만 lux 밝기를 자랑하는 Colona Ⅱ LED 기반 조명시스템이 지폐를 비추는 동안, 두 대의 allPIXA 카메라가 지폐의 3D 이미지를 캡처한다.
카메라가 획득한 영상 자료는 카메라링크 인터페이스를 통해 GPU가 탑재된 PC에 전송된다. 영상 자료는 조폐업체가 제공하는 ‘Golden Template’로 3D 스테레오 페어를 만들기 이전 단계에서 3D 이미지 노트로 다시 가공된다.
이 시스템은 스캔한 물체의 표면 질감에 따라 1/5 높이 분해능과 1/10 측면 분해능을 달성한다. 따라서 시스템은 초당 5미터의 속도로 10~20㎛의 높이 분해능을 자랑한다. 또한 본체에서 지폐까지 전체 범위에 걸쳐 100㎛을 분석할 수 있다.
가르치지 않아도 이미지를 식별한다?
많은 연구자들이 서로 다른 이미지로부터 특정한 이미지만을 구분할 수 있는 시스템을 개발하고 있다. 하지만 이 중 대부분은 수만 개의 이미지를 시스템에 집어넣은 뒤 이미지를 분류하는 일종의 ‘교육’을 받았고, 시스템은 입력된 내용에 따라 이미지를 분류할 뿐이었다.
하지만 최근 이 판도를 깨는 연구결과가 나왔다. 이 연구결과는 인공 신경망을 기반으로 한 시스템 구축을 제안하고 있다. 연구 결과에 따르면, 이 시스템은 인터넷을 통해 수집한 임의의 이미지를 비롯해 분류되지 않은 이미지도 확인할 수 있다.
신경망(Neural network)은 과거에 위와 같은 목적을 달성하기 위해 만들어졌지만 계산 비용이 매우 비싸다는 단점이 있었다. 때문에 기계 학습 네트워크(Machine learning networks) 중 대부분은 백만 개에서 천만 개 정도의 접속을 사용해 이를 통해 모은 작은 데이터의 집합 안에서 작동할 뿐이었고, 네트워크는 이를 통해 실용적이고 합당한 시간 내에 이미지 분석 훈련을 받았다.
구글과 스탠포드대학의 연구진들은 구글 데이터 센터를 기반으로 한 시스템을 개발함으로써 더 큰 네트워크를 구축할 수 있게 됐다. 연구진은 이 시스템을 통해 머신비전이 사람의 얼굴과 같은 높은 수준의 이미지도 식별할 수 있음을 증명했다.
시스템의 작동 원리는 다음과 같다. 300만 개의 뉴런과 일억 개의 시냅스를 탑재한 인공 신경망이 자체적으로 천만 개의 유튜브 동영상을 수집해 이들의 샘플 프레임을 바탕으로 데이터세트를 만들어 이를 바탕으로 훈련을 한다. 여기에 필요한 계산은 구글 데이터 센터가 16000개의 CPU 코어를 통해 수행했으며, 계산을 마치기까지 3일이 걸렸다.
많은 사람들의 예상과 달리 이 실험은 성공을 거두었다. 구글의 신경망 시스템은 이전에 입력한 적 없는 얼굴 등의 복잡한 이미지도 내용을 식별할 수 있는 것으로 밝혀졌다.
후쿠시마를 탐사하라
네트워크에 기반한 머신비전의 장점은 인간이 갈 수 없는 곳을 탐지하고 그곳에서 검사를 진행할 수 있다는 점이다. 소각장처럼 매우 뜨거운 곳이나 우주·해저는 물론 좁거나 깊은 곳 등은 인간이 범접할 수 없는 구역이어서 검사에 차질을 빚어왔다. 머신비전과 네트워크 기술을 이용하면 지금까지 검사가 불가능했던 영역에서도 검사를 실현할 수 있다.
최근 이러한 장점을 실현한 사례가 바로 후쿠시마다. 후쿠시마의 원자력발전소 등에서 작업을 수행하게 되는 것. 도시바가 개발한 4족 로봇은 카메라와 도시미터(일정 기간 동안에 피폭된 방사선의 총량을 측정하는 계기, 편집자 주)를 탑재하고 있다. 또한 원격에서 조종할 수 있는 시스템도 갖추었다. 따라서 사용자는 로봇을 원자력발전소 안에 투입해 원격으로 원자력발전소 상태를 조사할 수 있다.
로봇은 여러 관절로 이루어진 다리를 탑재해 울퉁불퉁한 표면 위를 걷는다든가 장애물을 피한다든가 계단을 오르는 등 인간과 비슷하게 움직일 수 있다. 이는 바퀴를 탑재한 로봇보다 재해현장 등을 탐색하기 좋은 조건이다. 로봇 안에 더 작은 로봇이 탑재된 것도 특징인데, 작은 로봇에도 모체(母體)처럼 카메라가 달려있어 보다 좁은 공간을 탐사할 수 있게 만들어졌다.
전 세계 생산현장을 하나로
최근 네트워크 관련 기술이 점점 발전하고 있다. 특히 인터넷을 기반으로 한 원격 조종·감시·데이터 전송 기술이 괄목상대하고 있어 사용자에게 편의를 안겨다준다.
이런 기술들의 집대성이 바로 클라우드 서비스이다. 클라우드 서비스를 이용해 자료를 마음껏 올리거나 내려받을 수 있고, 집에서 멀리 떨어진 곳에서 집을 감시할 수 있는 등 이점을 가져다주고 있다.
그렇다면 클라우드 서비스가 가장 필요한 곳은 어디일까. OptoFidelity는 다국적 생산 현장을 꼽는다. R&D 및 생산 분야는 요즘 여러 나라에서 분할 생산하는 것이 추세이다. 하지만 여기에는 문제점이 따르는데, 여러 나라에서 생산된 제품이 모두 같은 사양을 충족해야 한다는 것이다. 제품 세부 사항·설계·성능 등이 일치하는지 감시해야 하는 이유이기도 하다.
OptoFidelity가 개발한 GoldenEye 소프트웨어는 이런 문제를 해결하기 위해 만들어졌다. GoldenEye는 카메라 기반 의사소통 도구로, 장치의 이동 및 수송을 위한 옵션을 제공하고 있다. 이 소프트웨어는 클라우드 서비스와 인터넷을 기반으로 한 것이 특징으로, 사용자가 원격으로 카메라를 제어하고 고품질 영상은 물론 정지 화상도 볼 수 있다.
GoldenEye 소프트웨어를 기반으로 한 시스템은 인터넷에 접속할 때마다 사용할 수 있으며 시간이나 공간에 제약을 받지 않으므로 다국적 기업 및 생산현장에서 유용하게 사용할 수 있다.
우편을 검사하는 네트워크 기술
소포 배달 시간을 줄일 수 있는 화상압축 기술이 등장했다. 스웨덴에서 도입한 이 시스템은 각국 우체국 및 택배 시스템에 큰 화제가 될 것으로 보인다.
스웨덴 우편 서비스는 전국 각지에서 발송되는 소포를 여섯 개의 유통센터에 모은 뒤 전국의 지역 우체국으로 배달하는 방법을 사용하고 있다. 이 과정에서 유통센터에 근무하는 직원들은 수신인의 주소 및 연락처를 수동으로 촬영한 뒤 소포를 배송하기 전에 연락을 취해야 했다. 수신자들이 큰 지체 없이 소포를 받아야 하기 때문이다.
하지만 이 과정을 완전히 자동으로 전환할 수 있게 됐다. 여섯 개의 유통센터에 각각 VITRONIC의 기술을 사용하는 것.
VITRONIC 설명에 의하면, 이 기술을 도입한 시스템은 세 개의 측면에서 바코드를 촬영한 뒤 영상을 분석한다. 이렇게 함으로써 화상압축을 위한 기본 작업을 마치게 된다. 또한 자료를 통해 고객의 신분을 100% 인식할 수 있다.
시스템이 작동하는 과정은 다음과 같다. 만약 바코드만으로 식별할 수 없는 소포가 나타나면, 고속 네트워크를 통해 화상압축 스테이션으로 이미지를 전송한다. 워크스테이션에 영상이 전송되면 숙련된 기술자가 온라인 혹은 오프라인으로 정보를 보충한다. 온라인 화상압축은 정보를 정해진 공간에 즉시 입력하며 동시에 영상의 정렬과 추가 처리를 준비한다. 또한 오프라인 화상압축을 이용하면 직원들이 정렬이 필요하지는 않지만 배송을 해야만 하는 소포 등의 정보를 보충할 수 있다.
승객의 안전을 책임진다
IP 카메라가 영상 감시 분야를 이끌고 있다. IP 카메라는 쉽게 말해 인터넷에 연결해 사용하는 카메라로, 이 기사에서 말하는 네트워크 카메라 분야를 대표하는 격이라고 해도 과언이 아니다. IP 카메라는 얼굴 인식이나 수화물 인식 등 여러 사례에 쓰일 수 있어 보안용으로도 적합하고, 지능형 교통 시스템(ITS) 등 여러 분야에서 사용할 수 있는 팔방미인이다.
최근 이 IP 카메라가 기차나 지하철 등 대중교통 분야에서 각광받고 있다. 대중교통에서 사용하는 영상 감시 응용프로그램에 빠지지 않고 사용되는 것이 바로 IP 카메라다.
승객정보시스템 전문회사인 푼트베어크는 유럽 철도 고객을 위한 철도 영상감시 시스템을 만들고자 하였다. 이를 구현하기 위해 PoE 스위치를 탑재한 IP 카메라를 설치했다. PoE 스위치는 데이터와 전력을 동시에 전송하는 것이 특징으로, 이 시스템은 24V DC 전원만으로 PoE스위치를 연결·작동할 수 있어 전선 비용을 절감하며, 전선이 필요 없기 때문에 천장이나 높은 벽 혹은 열차 외부 등에도 손쉽게 장비를 설치할 수 있다. 오류 우회 기능과 네트워크 오작동 방지 기능도 탑재되어있다.
시스템 구성은 다음과 같다. IP 카메라들이 PoE 스위치와 연결되어있다. IP 카메라가 촬영한 데이터는 운전석에 전송되며 비디오 녹화기를 통해 저장된다. 녹화한 모든 영상자료는 매일 일정한 시간에 중앙통제허브로 전송된다.
사우스다코타주 농장을 보호하는 IP 감시 시스템
사우스다코타주에 있는 대형 농장에서는 IQinVision의 HD 메가픽셀 카메라와 Milestone 네트워크 비디오 관리 소프트웨어를 조합한 IP 시스템을 사용하고 있다.
요즘은 농장 운영자가 농장 현장에서 지내지 않는다. 관리인이나 작업자를 따로 두고 다른 일을 하거나 여가를 즐기는 것. 하지만 주인이 직접 관리하지 않으므로 농장에 일어날 수 있는 일들을 원거리에서 감시하고 방지할 수 있는 시스템이 필요하다. 뿐만 아니라 작업 기간 동안 안전을 유지하는 것도 중요하다. 이를 동시에 해결하기 위해 농장은 Dakota 보안 시스템의 도움을 빌렸다.
Dakota는 두 대의 IQeye 실내 돔 카메라와 열두 대의 IQeye 실외 돔 카메라로 구성된 영상 감시 시스템을 제안했고, 농장 관리자는 이 카메라들을 바탕으로 시스템을 구축했다.
농장의 중앙 사무실에 위치한 Milestone XProtect IP 영상감시 소프트웨어가 총 열네 대의 카메라를 관리한다. 이 소프트웨어를 이용한 시스템은 6fps 속도로 녹화된 감시 영상을 최소 30일 동안 저장한다.
일곱 대의 외부 카메라는 무선 메쉬 네트워크를 통해 원격 연결되어 4000ft(약 1.2㎞) 거리에서 영상을 전송한다. 여기에 쓰이는 Tropos Networks의 무선 시설은 IQeye가 수집한 영상을 기록할 수 있을 뿐 아니라 농가에서 거의 1마일(약 1.6㎞) 거리에 위치한 주요 건물들에 안전한 인터넷 접속을 보장한다.
IP 영상 감시 시스템을 갖춘다는 것은 농장 주인이 카메라와 원격으로 연결해 노트북·스마트폰·태블릿 등에서 실시간 영상은 물론 녹화된 영상도 볼 수 있음을 의미한다. 인터넷 혹은 휴대전화와 연결해 전 세계 어디에서든 건물이나 장비 그리고 작업 환경을 모니터링할 수 있다.
클라우드 시스템 업은 보안용 머신비전
영국 더비대학의 광범위 지능 시스템(DISYS) 리서치 그룹이 XAD커뮤니케이션과 협력해 영상 감지 시스템을 개발했다. 이를 통해 인간이 이미지를 분석하는 데에서 오는 부담과 육체적 피로를 줄일 수 있을 것으로 기대된다.
더비대학에서 컴퓨터과학을 강의하고 있는 Ashiq Anium박사는 “오늘날 제어 센터는 대부분 많은 보안 전문가들이 직접 스크린을 보고 영상을 분석해야 하지만, 이 시스템을 활용하면 여행자 감시 시스템이나 실시간 차량 감시 시스템 등 많은 이미지를 빨리 살펴야 하는 분야에서 인간을 대신할 수 있다”고 말했다.
이들이 개발한 영상 감지 시스템은 데이터 센터를 생성하는 것이 특징으로, 감시카메라에서 획득한 수천 개의 개별 데이터를 데이터 센터로 전송한다. 즉, 이들은 보안 분야에 클라우드 컴퓨터 시스템을 도입한 것.
Anjum박사는 “클라우드 컴퓨터 시스템을 적용해 얻을 수 있는 이점 중 하나는 유연성”이라며, “이 시스템은 자료를 취득하고 버리는 등의 요구에 빠르게 응답할 수 있어 유연하며, 따라서 빠르고 많은 반응과 저렴한 비용을 제공한다”고 밝혔다.
실시간으로 이미지를 수집·처리한다
네트워크를 활용한 머신비전에서는 소프트웨어가 중요한 역할을 한다. 카메라와 PC가, 혹은 카메라와 카메라가 소통을 한다 할지라도 이를 포괄적으로 관리하는 소프트웨어가 없으면 구현이 어렵기 때문이다.
베를린의 Kithara Software가 작업 사이의 간격을 줄이고 일관성 있는 작업을 실현하며 실시간 사이클과 이미지 수집·처리·출력 기능을 갖춘 새로운 비전 모듈을 출시했다. 이 모듈은 마이크로소프트의 윈도 OS에서 동작한다.
사실 GigE 비전 카메라의 경우 이전부터 획득한 영상에 대해 실시간으로 반응할 수 있었다. 하지만 이를 따라잡을 만한 이미지 처리 장치가 부족했다. 이 작업을 실시간으로 수행하기 위해 Kithara의 실시간 드라이버는 수 마이크로초 이내에 수집한 이미지를 네트워크 컨트롤러를 통해 전달한다.
새로운 소프트웨어를 포함한 장치는 사용자의 이미지 처리 알고리즘을 통해 실시간으로 이미지를 처리할 수 있을 뿐 아니라 뮌헨의 머신비전 업체인 MVTec의 HALCON 영상 처리 라이브러리를 사용할 수도 있다. 이 장치를 사용하면 1800개가 넘는 처리 연산자를 실시간으로 사용할 수 있다. 따라서 고성능 머신비전 애플리케이션을 구현하는 것도 가능하다.
이 ‘RealTime Suite’는 이미 시험대, 기계 제조, 공장자동화 및 로봇 등 다양한 분야의 수많은 제조업체에서 수년 간 사용해왔다. 더욱 강력한 산업용 영상처리 솔루션 구현을 크게 간소화하는 역할을 한다.
머신비전의 광범위한 사용에도 불구하고 윈도 운영체제에서 영상을 획득하고 처리하며 다양한 과정을 통합하는 포괄적인 솔루션은 지금까지 존재하지 않았다. 하지만 앞서 설명한 기능은 기계 엔지니어링 분야에서 중요한 역할을 한다. 예를 들면 품질을 보증에 관한 제품 결함을 즉각적으로 파악할 수 있다.
