비전시스템의 다양한 활용사례 / 11) 로봇용 머신비전
머신비전 로봇으로 인간처럼
산업현장에서 머신비전은 없어서는 안 될 요소가 되었다. 인간의 눈을 대신할 기술이라는 취지에 걸맞게 머신비전은 인간의 능력으로 수행할 수 없는 많은 기술을 가능케 하고 있다. 최근에는 이러한 기술이 공장자동화 분야는 물론이고 비 산업적인(Non-industrial) 분야로까지 확대되는 추세이다. 반도체·전자·자동차·측정 및 계측 분야와 같은 공장자동화부터 국방·항공우주·연구·생체인식·의료·농업에 이르기까지 머신비전이 나아갈 수 있는 길은 아직도 무궁무진하다.
정리 | 이용준 기자(pen@automotivemnt.com)
사람은 무의식중에 자신과 닮은 사람에게 호감을 가진다. 외모나 성향이 비슷한 이성에게 매력을 느꼈다면 본능이 작용한 것일 수 있다. 인간은 자신과 닮은 존재를 갈망하는 것이다.
로봇은 인간과 닮은 존재이다. 인간과 같이 걷기도 하고 말도 한다. 이제 로봇은 소위 인공지능의 발달단계에 있다. 다름 아닌 문제해결 능력을 탑재하게 되는 것이다.
머신비전의 기능은 사람의 눈과 뇌 역할과 같다. 머신비전은 보고 생각하는 능력을 기계에게 부여하는 것이다. 로봇용 머신비전은 노인과 대화도 하고 그에 성향에 맞게 산책제안도 한다.
그리고 인간의 영역을 벗어난 미세한 단위에서 수술도하고 사람은 갈 수 없는 깊은 바다 속에서 정화활동을 하기도 한다. 로봇에게 매력을 느꼈다면 이런 인간과 비슷한 지능적 기능 때문이다.
로봇에 도입된 머신비전. 그에 대해서 좀 더 살펴보자.
대표적 활용사례 모음
로봇이 조향바늘로 뇌출혈 치료
뇌출혈로 인한 손상압력을 완화하는 수술은 의사에게 고도의 기술을 필요로 한다. 하지만 로봇에겐 쉬운 일이다. 로봇은 형성된 혈전을 피해서 뇌에 최소한의 손상을 주는 방법으로 조향바늘을 사용한다.
지난 4년동안 웹스터의 팀은 조향바늘 시스템으로 수술이 가능하도록 연구해왔다. 이는 이미지를 통한 새로운 수술 시스템이다. 시스템의 개발자인 웹스터는 “내가 대학에 다닐 때, 아버지에게 뇌출혈이 발생됐다”며, “아버지는 다행히 완전히 회복된 운 좋은 몇 없는 경우 중 하나였다”고 말했다.
뇌하수체에 종양을 제거하는 수술에는 환자의 얼굴이나 머리에 큰 구멍을 내야만 한다. 비강을 통과하는 내시경을 사용하면 손상이 적어질 수 있지만 고도의 기술을 지닌 소수의 외과의가 아니면 수술이 매우 어렵다.
그래서 신경학자들은 뇌출혈 수술을 꺼려한다. 혈전이 매우 작거나 표면에 있는 경우를 제외하고는 수술의 성공 가능성이 희박하다. 또한 외과의사는 일반적으로 응고의 25~50%를 제거할 수 있지만 그것은 주변조직의 손상에 의해 상쇄되는 것이라고 밝힌다. 그러므로 뇌에 심각한 혈전이 발견될 때는 약물을 투여하여 혈전이 감소되길 기다리는 수 밖에는 없다.
뇌에 혈전이 생기면 장애의 원인이 될 수 있고 심한 경우 사망할 수도 있다. 뇌출혈은 50명중 1명 꼴로 일어날 수 있으며 일단 발생하면 40% 정도는 한 달 이내에 사망한다. 생존자의 대부분에게도 심각한 뇌손상을 초래한다. 그러나 뇌 혈전 치료 시스템의 조향바늘은 수술의 부수적 피해를 방지 할 수 있다.
뇌 혈전 치료 시스템에는 두 개의 튜브가 필요하다. 바깥에 직선의 튜브와 안쪽에 휘어진 곡선의 튜브다. 둘 다 직경 1인치가 안 되는 크기다. CT 스캔으로 뇌 혈전의 위치를 찾아내고 외과의는 튜브를 투입할 최상의 자리를 결정한다. 바늘이 응고의 외부 표면에 도달할 때까지 외부 관에 의해 내부 관이 유도된다. 그런 다음 내부 곡선관이 응고된 내부을 확장하고 흡입 펌프를 연결하여 진공 청소기처럼 응고된 부분을 빨아들인다.
시뮬레이션에서 캐뉼라(체내에 체액을 뽑아내기 위해 꽂는 관)로 92%의 혈전을 제거했다. 향후 개발에는 초음파 영상을 도입하여 더욱 안전한 방법을 연구하고 있다.
이 시스템은 Biomedical Engineering저널의 IEEE Transactions에 게재되어있다.
사회적 기능 갖춘 노인을 위한 로봇
Mobiserv 프로젝트는 가정에서 노인의 건강과 안전에 초점을 맞춘 로봇을 만들기 위해 시작됐다. 노인의 자립생활을 지원하는 것이다. 그리고 인공지능 최첨단 기술은 노인에게는 익숙하지 않은 환경이기 때문에 쉽게 사용할 수 있는 방법으로 기술을 설계, 개발하는 것이다. 유럽에서 이루어진 이 공동 연구 프로젝트는 7개국의 나라가 참가하여 2009년 12월부터 2013년 8월까지 실행됐다.
Mobiserv는 다양한 장치, 미들웨어, 서비스로 구성된 인공지능 플랫폼이다. 노인의 필요에 진정으로 도움을 주기 위하여 실내 삶의 정황에 맞추어 설계되었다.
이 로봇은 사회적 기능을 해낸다. 음성합성, 음성 인식을 통한 데이터 저장 및 처리기능을 수행하고 각종 센서로 경험을 수집한다. 예를 들어 로봇은 소니의 XCD-V60CR 디지털 비디오 카메라를 사용하여 사람이 먹는 때를 인식한다. 그리고 먹지 않는 기간을 계산하여 배가 고픈 경우 유용한 먹거리 정보를 제공하고, 지정된 시간에 맞추어 약을 복용 할 때를 알려주기도 한다. 또 한동안 외출이 없는 경우 산책로를 제안하기도 한다.
스마트 센서는 광학장치로 위험한 상황을 감지한다. 예를 들어 수면 패턴을 감시할 수 있는 등의 기능을 수행한다.
현재 Mobiserv의 개발된 원형은 10,000유로다. 하지만 웹사이트에 따르면 몇 년 이내에 가격은 약 5,000유로로 떨어질 것으로 예상된다고 한다. 새로운 기능을 확장하며 발전을 거듭할 것으로 보인다.
인간과 로봇 사이를 좁힌 Roboray
Bristol 대학은 삼성의 Roboray 로봇으로 실시간 3D 화상지도를 만드는 비전 알고리즘을 연구했다. 이들의 3D SLAM(Simultaneous Localization And Mapping) 프로젝트 팀은 빠른 3D 화상 맵핑을 개발했다. 이 기술은 로봇에게 맵핑을 통한 추적기능을 추가한다. 이는 빠른 모션이나 방해로부터 움직이면서도 제대로 기능할 수 있다.
Roboray는 스테레오 카메라 53개를 장착하여 주변의 지점을 인식하고 실시간으로 3D 지도를 만든다. 또한 빠른 3D 화상 맵핑은 자동화된 항해를 위해 쓰인다. 특히 GPS 신호가 잡히지 않는 곳에서 실시간 지도를 만드는 능력은 중요하게 쓰인다.
또한 가장 진보된 인간형 로봇으로 여겨지는 이것은 인간과 같이 두 발로 걷는 Dynamic Walking 기능을 사용한다. SAIT(Samsung Advanced Institute of Technology)의 윤석준 박사는 “바퀴가 달린 자동차보다 두 발로 걷는 로봇의 실시간 맵핑은 더욱 어렵다”며 “SLAM 프로젝트와 다른 실시간 화상기술은 Bristol 대학의 도움에 의해 이루어졌다. 가까운 미래에 인간형 로봇 기술은 획기적인 환경을 제공할 것이다“라고 말했다.
Robomotive의 비전 시스템, BitFlow의 PCI 익스프레스 프레임 그래버
Beltech와 Robotiq에 의해 개발된 Robomotive 인간형 로봇은 BitFlow의 3D Structured Light 이미징 시스템의 일부인 PCI express 프레임 그래버 Neon-CLB(Camera Link)를 사용한다.
Robomotive는 일곱 개의 축을 갖추고 있으며 각각 44파운드의 물건을 들어 올릴 수 있는 그리퍼와 팔이 장착되어 있다. Robomotive는 3D 포인트 클라우드로 특정 대상의 위치를 파악하고 그리퍼로 그것을 집는다. 7개의 축을 특징으로 하는 디자인은 유연한 작업을 제공할 수 있다.
또한 3D 비전 시스템이 부품의 패치과정 자동화를 돕는다. 3D 비전 시스템의 두 카메라는 각각 독립적으로 그리고 협력적으로 작동한다.
한 대는 산업현장에서 종종 발견되는 빛의 반사나 변화를 측정하고 다른 한 대는 레이저의 결점을 감지한다. 이는 레이저 삼각 측량을 기반으로 하고 있으며 카메라의 Peak Detector는 주변의 레이저 파장을 제거하는 필터다. 그리고 시스템은 종합하여 결점을 감지하고 자동화 과정에 기여한다.
BitFlow 프레임 그래버는 로봇 마더보드의 요구를 줄일 수 있다. 그들은 데이터 처리지연을 막아 주며 낮은 CPU 사용량, 무제한의 DMA Destination 크기를 제공한다.
무인 자동차의 현실화
Mobileye는 1999년부터 ADAS(Advanced Driver Assistance Systems)를 개발해왔다. 이는 비전 시스템을 기반으로 하는 무인자동차 기술이다.
Mobileye는 구글의 자동운전 자동차와는 달리 센서, 카메라, 레이더를 사용하는 소프트웨어를 사용하고 Eye Q 비전프로세싱 칩을 장착한다. 이 시스템에 사용되는 카메라는 752×480픽셀, 6x6μm의 픽셀 크기로 작동하며 Micron/Aptina MT9V023 VGA CMOS 액티브 픽셀 디지털 이미지 센서를 사용한다. 근적외선 기능을 갖추고 있으며 9×9mm를 측정하는 동안 60프레임의 영상을 획득한다. 그리고 1/3″Monochrome 이미지 센서, RGB Bayer, red/clear 컬러 필터, 초당 27메가픽셀의 데이터 전송 속도와 판독, 통합 기능을 탑재한 TrueSNAP 글로벌 셔터를 사용한다.
EyeQ 비전 프로세서는 120MHz의 속도로 작동하며 DSP Extensions의 두 개의 ARM946E 32비트 CPU 그리고 네 개의 64비트 비전컴퓨팅 엔진과 8채널 64비트 직접 메모리 288킬로바이트의 On-Chip SRAM을 사용한다.
이런 EyeQ는 인공지능 시스템을 사용하여 실시간 영상인식과 해석기능을 수행한다. 실제로 BMW, 캐딜락, Buick에서 교통신호 인식 및 차선이탈 경고 기능을 담당한다.
비전기반의 ADAS개발은 아직 초기단계에 있다. Mobileye 공동개발자 및 CEO인 Ziv Aviram는 뉴욕 타임즈에서 “회사의 목표는 2016년까지 자동조종장치를 구축하는 것이다”라며, “완전한 무인 자동차 시스템의 실용화는 아직 약 15~20년은 더 기다려야 할 것이다“고 말했다.
현대판 농부가 된 로봇
캘리포니아에서 시작한 Blue River의 기술은 약 20명의 작업자들이 수행할 배추 수확을 대신한다.
이들이 내놓은 Lettuce Bot은 농부를 대신할 현대식 로봇 농부다. 이는 비디오 카메라를 사용하여 배추의 머리부분을 확인하는 화상 인식 소프트웨어를 사용한다. The Bot은 잡초를 감지하고 너무 가까이 붙어 있는 배추를 찾아 배추밭의 열을 조정한다. 그리고 기계가 농축 비료를 뿌려서 땅을 비옥하게 하는 작업을 수행한다.
개발자 중 한 명인 Jorge Heraud는 “Lettuce Bot은 비전 시스템과 기계학습 알고리즘과 로봇 공학의 지식을 사용한 결과다”라고 말했다.
또한 Blue River는 Lettuce Bot을 구입하기 전에 농장 운영 서비스를 지원한다. 지주는 소작농에게 밭을 빌려주고 면적당 소작료를 지급한다. 운영 서비스는 그와 같이 Lettuce Bot이 경작한 에이커당 급료를 받으며 농부에게 The bot의 시험사용을 제공하는 것이다. 그래서 농부가 적은 재정적 위협으로 Lettuce Bot을 사용하도록 돕는다. 농업기술의 진보를 가져온 이 Blue River는 정부로부터 약 310만 달러의 벤처기금을 받았다.
The Herald Sun의 기사는 “Lettuce Bot은 신선한 채소와 과일을 공급하기 위한 농업 기계화의 일면이다”라며 “연구를 지속하여 이런 종류의 로봇을 개발하고 센서와 비전 시스템과 알고리즘 그리고 GPS 위치 측정 기술을 발달시켜야 한다”고 전했다.
바다를 청소하는 비전로봇
바다는 지구의 70%이상을 포함하는 최대의 생태계지만 해양쓰레기, 기후변화 등에 의한 오염에 의해 위협받고 있다. 해양쓰레기는 모든 해양생물에게 악영향을 끼치고 일 년당 약 백만 마리의 바다새를 죽인다. 그래서 세계적으로 시급한 서식지 개선과 생태계의 회복이 요구되고 있다.
깊은 바다에 인간이 직접 개입하여 생태계 회복을 돕기는 위험한 일이지만 거대한 생태계의 회복을 작은 기계에 의해 안전하게 해결할 수 있다. CoralBots는 인간을 대신하여 바다를 청소하는 비전로봇이다.
자연은 우리에게 조직의 큰 무리가 어떻게 단지 단순한 규칙으로 복잡한 과제를 수행하는지 알려준다. 예를 들어 벌이나 개미가 그렇다. 이들의 군집지능이 CoralBots에 적용되었다.
CoralBots이 손상된 산호초를 인식한다. 그리고 군집지능으로 길을 따라 건강한 산호의 이식을 수행한다. 이 로봇이 훼손당한 산호초의 회복과 건강한 산호초의 이식을 해내는 것이다.
CoralBots의 첫 번째 미션은 벨리즈의 선박 좌초와 허리케인에 의해 손상을 입은 산호초를 회복시키는 것이었다. 2013년 5월 비전 시스템으로 산호초 복원을 수행하였다.
CoralBots는 해양과학자 팀에게 큰 도움이 된다. 최첨단의 새로운 기술로 생태계 회복을 시도하는 엔지니어와 해양 생물학자는 CoralBots로 대변혁을 일으킬 것이다.
