비전 기반 머신 러닝 애플리케이션 확대를 위한 reVISION™ 스택 발표

자료제공 : 자일링스 기업전략마케팅 그룹 수석부사장, Steve Glaser
임베디드 비전 SDSoC 부문 수석 제품 매니저, Nick Ni

자일링스가 지난 기자 간담회에서 reVISION™ 스택의 발표를 통해 비전 기반 머신 러닝 애플리케이션의 범위를 확장시킬 예정이라고 포부를 밝혔다. 이번 발표는 최근 재구성 가능한 가속 스택을 보완하며 에지에서 클라우드까지 머신 러닝 애플리케이션의 배치를 크게 확장시켰다. 새로운 reVISION 스택은 훨씬 더 많은 임베디드 소프트웨어 및 시스템 엔지니어가 하드웨어 설계 지식이 적거나 전무하더라도 자일링스 기술로 비전 기반 머신 러닝 애플리케이션을 더 쉽고 빠르게 개발할 수 있도록 한다. 엔지니어는 이제 머신 러닝과 컴퓨터 비전, 센서 융합, 커넥티비티 등과 조합하여 상당한 이점을 실현할 수 있게 되었다.

머신 러닝: 에지에서 클라우드까지
머신 러닝 애플리케이션은 점점 확장하고 있는 시장에서 빠르게 그 범위를 확대하고 있으며, ‘에지’와 ‘클라우드’, 그리고 에지 프로세싱을 클라우드 기반 데이터 분석과 결합한 ‘하이브리드’에 상주하고 있다. 클라우드의 경우, 자일링스는 최근 재구성 가능한 가속 스택(2016년 11월 출시)을 출시했는데 머신 러닝 추론을 포함해 다양한 컴퓨팅 가속 애플리케이션을 타깃으로 한다. 에지의 경우, 자일링스는 이번 XilinxⓇreVISION™ 스택의 발표로 비전 기반 머신 러닝 애플리케이션의 범위를 크게 확장시킬 예정이다.
새로운 reVISION 스택은 훨씬 더 많은 임베디드 소프트웨어 및 시스템 엔지니어들이 하드웨어 설계 지식이 적거나 전무하더라도 자일링스 기술로 비전 기반 머신 러닝 애플리케이션을 더 쉽고 빠르게 개발할 수 있도록 돕는다.

reVISION의 타깃 애플리케이션 및 명령
자일링스는 차별화가 중요하고, 시스템의 반응 속도가 즉각적이어야 하며, 최신 알고리즘 및 센서를 신속하게 배치해야 하는 시장에서 빠르게 성장하고 있는 애플리케이션을 지원하고 있다. 여기에는, ‘프로슈머(prosumer)’, 오토모티브, 산업용, 의료용, 우주항공과 국방의 애플리케이션은 물론 하이엔드 최첨단 소비자도 포함된다.

1.시스템은 생각할 뿐만 아니라 상황에 대해 즉각적으로 ‘반응’해야 한다. 그러기 위해서는 감지부터 처리, 분석, 결정, 통신, 제어까지 보다 응집적인 시야를 필요로 한다. 또한 매우 효율적으로 구현되어야 하고 최신 머신 러닝 기술을 8bit 이하의 정밀도로 배치해야 한다. 머신 러닝 학습에 최적화된 기술은 머신 러닝 추론을 위해 최적화된 기술과 계속해서 나뉜다. 자일링스는 추론을 위해 디바이스를 최적화했다.
2.신경망과 관련 알고리즘, 그리고 센서가 신속하게 변화하기 위해서는 하드웨어 및 소프트웨어 재구성 가능한 능력을 통해 시스템을 유연하게 업그레이드하는 것이 무엇보다 중요하다.
3.이러한 새로운 시스템 대부분이 현재 연결(IoT)되어 있어, 기존 머신은 물론 미래에 등장할 새로운 머신 및 클라우드와도 대화할 수 있어야 한다. 자일링스는 이를 ‘any-to-any’ 커넥티비티라고 정의한다.

자일링스의 디바이스는 다른 대안에 비해 중요하고 측정 가능한 이점을 통해 각각의 세 가지 명령을 지원한다. 효율적인 추론 및 제어를 통해 센서에서 가장 빠른 반응시간을 가능하게 해주며, 재구성 가능한 능력으로 최신 신경망, 알고리즘, 센서를 지원하고, any-to-any 커넥티비티로 기존의 머신이나 새로운 머신, 네트워크, 클라우드에 대한 접속을 지원한다.
자일링스 디바이스는 현재 하드웨어 및 RTL 기반 설계 전문지식을 가진 전문 사용자에게 이러한 이점을 제공하지만, 채택이 확대되는 데에는 뚜렷한 장벽이 있다. 장벽은 바로 업계 표준 라이브러리와 프레임워크를 사용하는 소프트웨어 정의 프로그래밍을 지원하는 것이다. 하지만 reVISION 스택은 이러한 광범위한 채택 장벽을 해결해준다.

reVISION 스택
자일링스의 reVISION 스택은 플랫폼, 알고리즘, 애플리케이션 개발을 위한 다양한 개발 리소스를 포함하고 있다. 여기에는 AlexNet, GoogLeNet, SqueezeNet, SSD 및 FCN과 같은 가장 많이 사용되는 신경망에 대한 지원이 포함되어 있다. 또한 사용자 정의 신경망(DNN/CNN)을 구축하는데 필요한 CNN 네트워크 레이어를 위해 미리 정의되고 최적화된 구현을 비롯한 라이브러리 요소를 제공한다.

이 머신 러닝 구성요소는 컴퓨터 비전 처리를 위해 다양한 세트의 가속화 할 수 있는 OpenCV 함수로 보완된다. 자일링스는 애플리케이션 레벨 개발을 위해 머신 러닝에서는 Caffe, 컴퓨터 비전에서는 OpenVX와 같은 업계 표준의 프레임워크를 지원한다. 또한 reVISION 스택에는 여러 가지 타입의 센서와 자일링스와 서드파티의 개발 플랫폼도 포함되어 있다.

채택 확대의 장벽을 제거
reVISION 스택은 하드웨어 전문 지식 없이도 광범위한 설계팀이 소프트웨어 정의 개발 흐름을 이용해 머신 러닝 및 컴퓨터 비전 알고리즘의 효율적인 구현을 반응이 뛰어난 시스템에 결합할 수 있게 한다.  

그림 8의 왼쪽에서 알 수 있듯이, 기존 RTL 기반의 설계 흐름을 배치하고 ARM 기반 소프트웨어 개발자와 협력한 자일링스 전문 사용자는 고도로 차별화된 머신 러닝과 컴퓨터 비전 애플리케이션을 만드는데 상당히 많은 시간을 설계하는데 사용했다.
자일링스는 설계 시간을 더욱 앞당기고 하드웨어 전문가에 대한 의존을 줄이기 위해, 약 2년 전 C, C++ 및 OpenCL 언어를 기반의 SDSoC 개발 환경을 출시했다. 이것은 추가적으로 자체 기본 플랫폼과 라이브러리, 애플리케이션에 대한 개발 능력을 갖춘 사용자 천여 명의 개발 주기를 크게 단축시켜주었지만, 여전히 광범위한 채택과 배치 및 머신러닝으로 야기된 복잡성에는 미치지 못하고 있다.
그림 8의 오른쪽을 보면 알 수 있듯이, 자일링스의 새로운 reVISION 스택은 훨씬 더 다양한 소프트웨어 및 시스템 엔지니어가 하드웨어 설계 전문 지식이 부족하더라도 빠르게 반응하는 시스템에 머신 러닝과 컴퓨터 비전 알고리즘을 효율적으로 병합시키는 등의 방법으로 인텔리전트 지능형 임베디드 비전 시스템을 보다 쉽고 빠르게 개발될 수 있도록 도와준다.

반응성·센서에서 추론제어까지 가장 낮은 레이턴시
위의 내용과 같이, reVISION 플로우는 매우 뛰어난 반응성의 신속한 시스템 개발을 가능하게 한다. 임베디드 GPU와 일반 SoC의 성능을 비교했을 때, 자일링스는 이 그룹 최고인 엔비디아(Nvidia)를 넘어서고 있다.

최신 네트워크와 센서를 위한 재구성 능력
반응시간도 중요하지만, 자일링스 솔루션은 재구성 가능한 능력에서도 매우 독특한 강점을 제공한다. 최신 신경망 및 머신 러닝 추론 효율성을 갖춘 최고의 시스템을 배치하려면, 엔지니어는 제품 라이프 사이클 내내 소프트웨어와 하드웨어 모두 다 최적화할 수 있어야 한다. 그림 12에서 알 수 있듯이, 지난 2년간 머신 러닝의 발전으로 인해 지난 45년간의 발전보다 더 많은 기술이 생겨났다. 많은 새로운 신경망과 함께 훨씬 더 효율적으로 배치 가능한 신기술이 등장하고 있다. 오늘 무엇이 지정되고 내일 무엇이 구현될지에 상관없이, 하드웨어 재구성 가능한 능력을 통해 ‘미래 보장’되어야 한다. 자일링스의 올 프로그래머블 디바이스가 이러한 수준의 재구성 가능한 능력을 제공한다.
재구성 가능한 능력은 센서 기술의 급속한 발전을 관리하기 위한 요건을 갖고 있다(그림 13 참고). 인공지능(AI) 혁명은 여러 다양한 카테고리에서 센서 기술의 발전과 진화를 가속 시켰다. 또한 여러 가지의 센서를 서로 달리 조합하여 시스템 환경과 그 환경에서의 물체에 완전하고 완벽한 시야를 만드는 새로운 차원의 센서 융합이라는 결과를 보여준다. 머신 러닝에서도 마찬가지로 센서 구성을 오늘 어떻게 지정하고 내일은 어떻게 구현할지에 상관없이, 하드웨어 재구성 가능한 능력을 통해 ‘미래 보장’되어야 한다.

징크 센서 및 커넥티비티의 장점
·기본 8K 및 사용자 지정 해상도 지원을 포함하여 현재 시장에 나와 있는 대체 SOC에 비해 최대 12배 더 높은 대역폭
·훨씬 더 높고 낮은 대역폭의 센서 인터페이스와 채널을 통해 RADAR, LiDAR, 가속도계, 포스 토크 센서와 같은 차별화된 센서를 조합하는 능력
·미래의 표준에 맞춰 쉽게 재구성 가능한 최신 데이터 전송 및 스토리지 인터페이스에 대한 업계 선도적인 지원

자일링스와 업계 경쟁사
reVISION은 징크 기반 플랫폼의 고유한 강점과 업계 표준의 프레임워크를 위한 라이브러리 및 지원을 탑재한 소프트웨어 정의 개발 환경이 결합되어 비전 기반 시스템 개발에서 가장 좋은 대안으로 자리 잡고 있다. 앞서 말했듯이, reVISION은 최신 기술로 차별화 및 출시 시점이 무엇보다 중요한 지능형 애플리케이션에 대해 반응성, 재구성 가능한 능력, any-to-any 커넥티비티 3가지 요구사항을 해결한다. 또한 소프트웨어 정의 프로그래밍을 통해 보다 광범위한 채택 장벽을 제거한다.
그림 14에서 알 수 있듯이, 수직 축에서 reVISION만이 머신 러닝 추론 및 접속 제어를 통해 센서에서 최적화할 수 있으므로 시스템 반응 시간이 가장 좋다. 수평 축에서도 reVISION만이 알고리즘의 하드웨어 최적화 가속을 위한 재구성 가능한 능력을 제공하고 최신 센서 및 커넥티비티로의 요건을 업그레이드할 수 있다. 자일링스의 디바이스는 과거에 하드웨어 전문가를 두고 있는 수 백 여 고객사들이 이러한 이점을 현실화할 수 있도록 했지만, 새로운 reVISION 스택은 업계 표준 라이브러리 및 프레임워크를 이용하여 소프트웨어 정의 프로그래밍을 구현함으로써 광범위한 채택 장벽을 없앴다.

reVISION 요약
자일링스는 XilinxⓇ reVISION™ 스택을 통해 비전 기반 머신 러닝 애플리케이션의 범위를 확장하고 있다.
이번 발표는 최근 재구성 가능한 가속 스택을 보완하며 에지에서 클라우드까지 머신 러닝 애플리케이션의 배치를 크게 확장시켰다. 새로운 reVISION 스택은 훨씬 더 많은 임베디드 소프트웨어 및 시스템 엔지니어가 하드웨어 설계 지식이 적거나 전무하더라도 자일링스 기술로 비전 기반 머신 러닝 애플리케이션을 더 쉽고 빠르게 개발할 수 있도록 한다. 엔지니어는 이제 머신 러닝과 컴퓨터 비전, 센서 융합, 커넥티비티 등과 조합하여 상당한 이점을 실현할 수 있게 되었다.