컴퓨터 비전이 미래를 밝힌다
Mentor
소개
컴퓨터 비전은 이미지를 획득, 처리, 분석, 이해 및 행동하기 위해 인간의 인식 및 뇌 기능을 복제하려고 한다. 그러나 이 프로세스를 복제하는 것은 매우 어려운 일이다. 왜? 예를 들어 보자. 길을 걸어가다가 갑자기 배가 고프다. 사람의 뇌는 자동적으로 필터를 적용하여 배가 고프다는 생각만하고, 식당에 대해 생각한다. 그후 기억으로부터 김치찌개와 된장찌개 같이 좋아하는 음식 부류를 꺼낸다. 일단 식당이 보이면, 사람의 냄새 감각에 김치찌개를 제공하는 식당과 일치시켜 좋아하는 기억으로 이어진다. 그리고 김치찌개 식당에 들어가기로 결정한다.
이제 동일한 작업을 수행하는 데 필요한 하드웨어 및 소프트웨어에 대해 생각해보자. 이미지를 식별하기 위해 수 년간의 연구 개발이 필요했다. 오늘날 딥러닝과 연결해 컴퓨터 비전 하드웨어와 소프트웨어 알고리즘을 사용하는 회사는 물체를 점차 식별하는데 성공하고 있다. 하지만 현재의 컴퓨터 비전 시스템은 임의의 물체를 가리켜 “무엇입니까?”고 묻고 100% 대답을 할 수 없다.
컴퓨터 비전이라는 용어를 들으면 사람들은 어떤 비즈니스를 떠올릴까? 보안, 로봇 공학, 자율 주행 차 또는 농업 일까? 만약 ‘농업’ 이라고 대답한다면 농업의 일상생활에서 대자연과 싸우며 많은 육체노동이 요구될 때, 사람들은 농장 자동화 방법을 찾는다. 농부를 위한 이상적인 삶은 식탁에 앉아서 완전 자동화된 농장을 모니터링하고 원격 조정을 수행하는 것이다(그림1).
컴퓨터 비전 기반 회사는 농부의 어려움을 인식하고 광범위한 솔루션을 제공한다. 예를 들어 AgEagleⓇ은 농장의 항공 이미지를 하나로 묶어 농부의 토지와 농작물에 대해 지리적으로 태그가 지정된 드론을 제공한다.
ProsperaⓇ는 최근 인공 지능을 사용하여 질병, 영양 결핍, 관개 및 작물 재배에 이미지를 분석하는 컴퓨터 비전 제품에 대한 투자를 늘렸다. Blue River TechnologyⓇ는 컴퓨터 비전과 머신 러닝을 사용하여 잡초와 얇은 작물을 식별하고 양상추 봇을 제공한다. Energid TechnologiesⓇ는 6카메라 컴퓨터 비전 기술을 사용하여 과일을 수확하는 감귤 수확 시스템을 판매한다.
Case IHⓇ는 토지를 준비하고 작물을 수확하기 위해 자율 주행 트랙터를 개발하고 있다. John DeereⓇ는 농기계를 추적 및 분석하고 유지 보수 문제를 모니터링하며 서비스를 위해 현지 대리점에 직접 연결하는 JDLink™를 만들었다. 또한 농부가 장비에 고유한 부품이 필요한 경우 알고리즘을 사용하여 부품을 식별하고 해당 공급 업체를 찾는 PartPicⓇ에 해당 부품의 사진을 보낼 수 있다.
사람의 눈 역할을 하는 컴퓨터 비전 제품에 대한 많은 애플리케이션과 시장이 있다(그림2).
반도체, 부품 제조업체, 소프트웨어 회사 및 제품 개발자들이 주요 시장을 위해 컴퓨터 비전 제품 개발하는데 모두 큰 투자를 하고 있다.
•보안: 감시, 사람 추적 및 범죄 예방을 위한 라이브 카메라 전송.
•의료: 바디 스캐너에서 3D 이미지를 생성.
•자동차: 운전자 지원 및 자율 주행 차량 시스템.
•스포츠 및 엔터테인먼트: 스포츠 이벤트, 영화 및 TV 컨텐츠에 대한 기술 및 효과.
• 소비자: 스마트 폰, 카메라, 생체 인식 및 가상 현실.
•로봇 공학 및 머신 비전: 산업 자동화, 검사 및 드론.
•소매: 고객 추적 및 구매 분석.
•농업: 작물 검사, 수확 및 토지 준비 시스템.
컴퓨터 비전이 왜 인기 있을까?
하드웨어와 소프트웨어 개선으로 100% 정확성과 달성에 대한 경쟁이 컴퓨터 비전 시장을 주도했다.
CNN(Convolutional Neural Network)은 이미지 인식 및 분류를 위해 선택되는 기술이며, 이 영역에서 GoogleⓇ 및 IBMⓇ과 같은 회사는 매일 많은 발전이 이루어지고 있다. 생태계(그림3)가 컴퓨터 비전 제품 개발을 가속화하기 위해 진화하고 있는 것이다.
• 이미지를 통계적으로 분석하여 객체를 성공적으로 식별하고 분류하기 위한 딥 러닝 기술이 향상되었다.
•무선 네트워크가 대중에게 제공된다.
•처리 및 분석을 위해 이미지를 전송할 수 있는 고대역폭 가용성.
•CNN 교육을 위한 대규모 데이터 저장 및 액세스가 가능하다.
•교육 네트워크에 사용할 수 있는 거대한 이미지 데이터베이스.
•대규모 병렬 컴퓨팅에 맞춘 매우 강력한 다 차원적 시스템이 존재한다.
•인프라를 다시 구축하지 않고도 차별화된 제품을 구축하기 위해 소프트웨어 스택 및 오픈 소스 라이브러리를 사용할 수 있다.
•칩 및 메모리 가격이 하락하여 고급 컴퓨터 비전 제품 개발이 저렴하다.
•CMOS 이미지 센서는 이제 CCD 센서와 동등하며 적은 비용으로 칩셋에 사용 된 것과 동일한 기술을 사용하여 제작할 수 있다.
그 외에도 기업이 새로운 솔루션을 개발할 수 있는 기회를 제공하는데 극복해야 할 주요 시장 장벽도 있다.
•컴퓨터 비전의 100 % 정확도는 여전히 달성 할 수 없다.
•컴퓨터 비전을 중심으로 한 새로운 비즈니스는 새로운 솔루션을 위한 강력한 비즈니스 사례를 만들어야 하며 시간이 걸린다.
•컴퓨터 비전의 발전은 대부분 자금이 많고 숙련된 직원이 있는 대학과 대기업의 연구소에서 진행되므로 개발 비용이 진입 장벽이 될 수 있다.
•컴퓨터 비전과 딥 러닝 전문 지식을 갖춘 숙련된 엔지니어가 부족하다.
•인적자원 면에서, 하드웨어 엔지니어보다 더 많은 소프트웨어 엔지니어가 있다.
•컴퓨터 비전 제품에서, 아직 인지된 ‘주요 애플리케이션(killer application)’이 없다. 일부는 이것이 가상 현실 또는 자율 주행 차일 것이라고 믿는다.
•복잡한 CNN 알고리즘은 계산 집약적이며 컴퓨터 이미지의 온보드(스마트 폰, 드론 등) 분석을 제한하여 CPU 및 GPU에 많은 전력을 소비한다.
•새로운 알고리즘과 교육 솔루션은 끊임없이 변하며 발전하고 있다. 새로운 아이디어가 다음 단계로 나오기 이전에, 하드웨어 구현을 완료하기가 매우 어렵다.
컴퓨터 비전 시장은 신생 기업이 새로운 제품과 애플리케이션을 제공할 수 있도록 개방되어 있다. 이에 대한 신호로서, 인공지능(신경망, 딥 러닝 및 CNN 포함) 분야의 신생기업은 2015년 3분기부터 2016년 3분기(Venture Pulse?KPMG InternationalⓇ 및 CB InsightsⓇ) 사이에 벤처 자금으로 143억 달러를 받았다.
인공지능(AI) 분야에서 2011년부터 2016년 6월까지 가장 많이 투자한 기업은 Intel CapitalⓇ, Google VenturesⓇ, GE VenturesⓇ, Samsung VenturesⓇ 및 Bloomberg BetaⓇ(2016 CB Insights) 이다. 같은 기간에 Google, IBM, IntelⓇ, AppleⓇ, SalesforceⓇ 및 SamsungⓇ(2016 CB Insights)에서 약 140개의 벤처 지원 AI 회사를 인수했다.
컴퓨터 비전 솔루션
컴퓨터 비전 시스템의 기본 아키텍처는 렌즈, 하드웨어 및 소프트웨어로 구성된다(그림4). 이 시스템의 개발자는 어떤 알고리즘이 하드웨어에서 구현되고 어떤 알고리즘이 소프트웨어에 남아 있는지 결정한다.
기업들은 딥러닝 시스템과 연계된 컴퓨터 비전 시스템을 개발하고 있으며, 사물 첨단 인터넷(IoT) 또는 온보드 시스템 분야에서 그리고 클라우드에서 추론 분석을 수행한다.
특별한 관심은 컴퓨터 비전 시스템에서 사용되는 프로세서(또는 프로세서 어레이)이다. 딥 러닝 알고리즘은 수십억 개의 계산을 수행하며 결과를 신속하게 생성해야 한다. 이 시스템은 CPU/DSP, GPU, FPGA, 임베디드 FPGA 또는 ASIC 기술을 사용하는 솔루션을 사용할 수 있다.
각각에는 장단점이 있으며, 현재 GPU 기술이 대세다. 그러나 GPU는 많은 전력을 소비하므로 온보드 시스템에 적합하지 않을 수 있다. 또한 GPU는 특정 알고리즘에 맞는 유연한 하드웨어 구성을 허용하지 않는다. 따라서 FPGA와 임베디드 FPGA 기술은 컴퓨터 비전 처리에 들어가기 시작했다. 시장에서 요구하는 경우 FPGA 기술을 사용한 구현은 ASIC 기술로 이동된다. 알고리즘 설명을 변경하지 않고 생산 전에 이러한 기술에서 알고리즘이 어떻게 수행되는지 확인할 수 있는 빠른 방법이 필요하다.
알고리즘 개발자는 C++로 코드를 작성하는 것을 선호하고 Verilog 또는 VHDL과 같은 RTL(레지스터 전송 언어)을 배우기를 원하지 않는다. 또한 하드웨어 구현 프로세스에 필요한 도구 및 방법을 이용하기를 원하지 않는다.
문제 해결을 위해, 일부 알고리즘 개발자는 C++로 코드를 작성한 다음 HLS(High-Level Synthesis) 도구를 사용하여 신속하게 트레이드 오프를 한 다음 자동으로 RTL을 생성한다. 이러한 개발자는 여러 가지 새로운 알고리즘 구현을 시도하고 하드웨어 또는 소프트웨어에서 이러한 알고리즘을 구현할 때의 성능과 전력 소비량을 탐색하고 ASIC, FPGA, CPU 또는 GPU에서 실행되는 장단점을 조사한다. 또한 프로세서 코어 수를 변경하고 메모리 크기 및 구성을 실험하여 장단점을 탐색한다.
머신러닝과 결합된 컴퓨터 비전의 세계는 빠르게 진화하기 때문에 알고리즘을 설계하고 검증할 방법이 필요하지만 사양과 요구 사항은 변경이 있을 때마다 다시 시작하지 않는다.
HLS 흐름은 알고리즘을 변경하지 않고 프로세스를 안내하는 제약 조건 및 지시문을 사용하여 이를 허용한다. 예를 들어, 마지막 순간에 클럭 속도를 변경하기로 결정한다. 이 제약 조건이 변경되고 HLS 도구는 C++ 알고리즘을 변경하지 않고 새로운 클럭 속도에 따라 RTL을 다시 생성한다. 이러한 유형의 후기 단계 변경은 기존 RTL 흐름에서는 가능하지 않지만 HLS를 사용하면 버튼을 눌러 RTL을 재구성한다.
15년 전 Mentor는 설계 및 검증에서 RTL에서 HLS 레벨로 올라가야 할 필요성을 인식했다. 그 기간 동안 고객과의 협력을 통해 오늘날의 Catapult HLS 플랫폼이 탄생했으며, 이로써 C++/SystemC 부터 최적화된 RT로 완벽한 흐름을 제공하고 있다(그림5).
Catapult HLS 플랫폼은 ASIC 또는 FPGA 구현을 대상으로 하는 C++ 및 SystemC 설명에서 고품질 RTL을 생성하는 알고리즘 설계자를 위한 하드웨어 설계 솔루션을 제공한다.
이 플랫폼은 시뮬레이션 전에 설계에서 오류를 검사할 수 있다. 매끄럽고 재사용 가능한 테스트 환경을 제공하며 생성된 RTL과 원본 소스 간의 공식적인 동등성 검사를 지원한다. 플랫폼 흐름은 빠른 설계 및 검증을 보장하고 시뮬레이션 및 RTL 합성을 위해 전력 최적화된 RTL을 제공한다.
Catapult HLS 플랫폼 솔루션 팀은 이러한 요소를 활용하여 컴퓨터 비전 제품을 보다 빠르고 저렴한 비용으로 시장에 출시한다. 여전히 전통적인 RTL 흐름을 사용하는 경쟁사보다 몇 달 앞서 시장에 진출한다.
주요 내용
컴퓨터 비전 제품 개발은 설계 자동화를 위해 즉, 이미지 분석을 포함하는 자체 포함된 시스템 설계에서 딥러닝을 수행하는데 사용되는 클라우드 서버용 칩 개발에 이르기까지 다양한 기회를 제공한다.
고객 맞춤의 ASIC, FPGA 및 임베디드 FPGA 설계 흐름은 잘 확립되어 있지만 컴퓨터 비전과 딥러닝 개발자의 새로운 고객이 만나고 있다. 이제 고급 알고리즘 솔루션을 통해 소프트웨어 알고리즘 개발자는 하드웨어 전문가가 아닌 애플리케이션에 가장 적합한 하드웨어 기술을 결정할 수 있다. 아직도 하드웨어 설계자들이 HLS 흐름으로부터 도움을 받고 있기 때문에 끊임없이 진화하는 아키텍처를 지원할 수 있다. HLS 흐름이 없으면 시장을 선도하는 컴퓨터 비전 혁신은 불가능하다.
자료 제공: Mentor(www.mentor.com)
