맞춤형 FPGA 기반 카메라, 차세대 의료산업에서 각광
많은 산업에서 운영상의 난제 극복을 위해 맞춤형 자동화 기술을 채택하고 있다. 보건의료 산업과 같은 점점 더 많은 산업들이 자동차 및 기계를 조립하는 로봇을 특징으로 하는 전통적인 자동화 산업 프로필을 넘어선다. 특히, 핵심 구현 기술인 머신 비전은 사람의 복잡한 시각적 의사 결정을 모방한다.
그러나 이러한 성장은 인간을 대체하는 것이 아니라 오류가 발생하기 쉬운 수동 프로세스를 대체하고 보다 엄격한 허용 오차를 요구하는 복잡한 제품을 가능하게 한다. 이는 운영 효율성 및 생산성 향상, 생산 비용 절감뿐만 아니라 작업자의 능력 확장을 의미한다. 예를 들어, 단파장 적외선(SWIR), 초분광 (hyperspectral), 멀티스펙트럼 애플리케이션과 같이 가시 스펙 트럼 이상을 볼 수 있는 카메라는 의료 진단에서 질병에 걸린 인간 조직을 감지할 수 있다. 이 특수 카메라는 한때 실험실용으로 사용되었지만 이제는 현장 애플리케이션에 적용된다.
산업에 적합한 머신 비전 애플리케이션은 정확한 비전 검사로서 관련된 운영 효율성의 향상을 약속한다. 그리고 시스템 공급업체에게 중요한 점은 MV(machine vision) 기술의 사용 편의성이 향상되고 구성 요소, 엔지니어링 및 소프트웨어 비용이 낮아지고 있다는 것이다.
A3(Association for Advanced Automation)의 보고서에 따르면 북미 머신 비전 시장은 2020년 2분기부터 2021 년 2분기까지 26% 성장한 7억6400만 달러를 기록했다. 머신 비전 자동화 시장에서 이러한 두 자릿수 성장의 대부분은 Allegro USB3 Vision 카메라 시리즈와 같이 OEM 제조업체를 위해 특별히 설계된 다목적이면서도 사용자 지정이 가능한 MV 카메라에 의해서이다.
맞춤화의 필요성
머신 비전 카메라는 단순해 보이는 한가지 일, 일상적이거나 복잡한 육안 검사 작업을 자동화하도록 설계되었다. 그리고 카메라 자체는 검사 작업에 상응하는 해상도를 가져야 하지만, 실제로 차이를 만드는 것은 카메라와 ‘렌즈 뒤에 있는 것’의 조합이다. 여기에는 캡처된 이미지를 기반으로 결정을 내리고 대기 시간을 추가하고 성능에 가중치를 둘 수 있는 소프트웨어 패키지의 사용이 수반된다.
각 애플리케이션에는 이미지 데이터에 대한 고유한 요구 사항이 있다. 일부는 이미지 데이터를 다시 포맷하거나 불필요한 이미지 데이터를 폐기한다. 이미지를 필요한 것으로 변환하기 위해 데이터를 필터링 하거나 자체 알고리즘을 통해 실행해야 할 수도 있다. 특정 패턴이나 색상을 찾기 위해 이미지를 검색할 수도 있다. 이 모든 작업에는 처리 능력과 시간이 필요하다. 처리가 복잡할수록 전체 시스템 성능에 미치는 영향은 더 나빠진다.
복잡한 처리가 필요하고 비용에 민감한 애플리케이션은 기성품 카메라(저비용)를 사용하여 성능 저하를 겪는다. 전체 센서 속도에서 온보드 처리의 전부 또는 대부분을 수행할 수 있는 리소스가 있고 비용 효율적인 기성품 카메라가 있다면 어떨까?
대기 시간은 머신 비전 시스템의 일반적인 문제이며 주어진 이미지가 센서에서 캡처되는 시점과 표시되는 시점 사이의 시간으로 정의될 수 있다. 여기에는 이미지를 처리하고 전송하는 데 소요되는 시간(예: USB 버스를 통해)이 포함된다. 짧은 대기 시간이 필요한 애플리케이션이 많이 있으며, 특히 사용자가 카메라에서 제공하는 이미지와 실시간으로 상호 작용하는 애플리케이션이 있다.
예를 들어, 외과의는 자신이 보는 것과 손이 하는 일에 차이가 없는 ‘느낌’을 유지해야 한다. 대기 시간을 줄이려면 시스템 처리량 증가를 위해 높은 전송 속도와 최적화된 처리 단계가 필요하다.
높은 해상도와 전송 속도로서 상당한 양의 캡처된 이미지 데이터가 원격 컴퓨터로 전송되어 처리된다. 필요한 컴퓨팅 리소스는 말할 것도 없고 이미지를 전송하고 처리하는 데 필요한 시간은 운영을 제한하는 요소가 된다. 새로운 접근은 ‘가장자리’ 또는 이미지 데이터가 생성되는 카메라에서 해당 이미지 데이터를 처리하고 호스트 컴퓨터에서 필요한 처리를 줄이는 것이다.
따라서 이 문제를 해결하기 위해 엔지니어들은 컴퓨터 소프트웨어 패키지를 고해상도 카메라에 통합된 FPGA(Field Programmable Gate Arrays)에서 실행되는 맞춤형 알고리즘으로 교체한다. 이 구성에서는 호스트의 처리를 크게 줄이거나 제거할 수 있으며 온보드 알고리즘이 훨씬 빠른 시각적 검사를 제공한다. 사용자 정의는 전체 시스템 최적화를 제공한다.
맞춤형이 가능한 카메라 아키텍처
FPGA에는 센서의 전체 프레임 속도에서 복잡한 이미지 처리를 수행할 수 있는 기능이 있다. 비용 효율적이면서 적은 전력으로 이 작업을 수행할수 있다.
이러한 이유에서, FPGA는 JADAK 머신 비전 카메라의 기능을 확장하는 데 중요해졌다. 강력하지만 여전히 경제적인 JADAK MV 카메라는 표준 인터페이스가 있는 작은 폼팩터에 적합하여 더 큰 시스템에 쉽게 통합된다. Allegro 맞춤형 플랫폼은 대형 프레임 버퍼와 함께 강력한 FPGA를 통합하고 Sony 제품군을 포함한 다양한 센서를 사용할 수 있도록 한다.
FPGA 설계의 유연성을 설명하기 위해 업계 표준을 완벽하게 준수하는 표준 JADAK Allegro 카메라는 독점 LightWise 이미지 처리 라이브러리의 재사용 가능한 모듈을 활용하고 고객별 로직을 추가하여 여러 OEM 용도에 맞게 사용자 정의할 수 있다.
유연하고도 맞춤화가 가능한 Allegro MV 카메라 아키텍처의 주요 이점은 다음과 같다.
• 시스템 최적화: FPGA 기반 공동 처리, 최적의 센서 선택 및 폼 팩터 수정을 통한 성능 향상. • 고도로 맞춤화 가능: FPGA는 JADAK 라이브러리의 고객별 로직 및 모듈로 맞춤화할 수 있다. 특정 폼팩터 요구 사항에 맞게 표준 하드웨어를 사용자 정의할 수있다.
• 현장 업그레이드 가능성: 카메라는 상시 사용 가능하다. FPGA 및 임베디드 소프트웨어는 새로운 기능, 개선 사항 또는 패치로 현장에서 업데이트할 수 있다. 이것은 또한 매우 효율적인 개발 및 프로토타입 주기를 가능하게 한다.
• 고성능: 고속 FPGA를 통해 최대 센서 프레임 속도로 이미지를 처리할 수 있다.
• 모듈성: LightWise 라이브러리를 구성하는 수백 개의 Verilog 모듈이 FPGA에서 사용하기 위해 사내에서 개발되어 시스템 설계 및 시장 출시 시간을 단축한다. Novanta의 임베디드 소프트웨어는 기능 변경 및 새로운 하드웨어 지원의 신속한 통합을 위해 이 철학을 따른다.
• 모듈식 하드웨어 아키텍처: 센서 특정 인터페이스가 프로그래밍 가능한 장치에 상주하므로 FPGA를 사용하면 동일한 하드웨어가 여러 센서를 지원할 수 있다. 센서에는 자체 보드가 있어 쉽게 교체할 수 있다. OEM은 해상도, 속도, 감도 및크기에 대한 애플리케이션 요구 사항에 가장 적합한 센서를 선택할 수 있다.
• 확장성: JADAK 플랫폼은 모듈식 및 재사용 가능한 설계 철학을 기반으로 한다. 보드, FPGA 로직 및 소프트웨어를 포함한 시스템 전체에 이를 적용한다. 모듈 설계는 장치 독립적이므로 성능 확장은 Allegro 카메라 이상으로 사용자 정의할 수 있다. 예를 들면 △다중 센서 카메라의 수용 △보다 큰 센서 및 보다 빠른 프레임 속도를 위한 FPGA 사용 △다운 스케일링의 비용 통제 가능 △모든 센서의 수용성 등이다.
• 병렬 처리: 병렬 처리는 직렬 처리 또는 멀티 코어 처리를 사용자 정의할 수 있는 알고리즘 수준과 단위 스케일링을 사용자 정의할 수 있는 모듈 수준의 두 가지 수준에서 발생할 수 있다.
• 시장 출시 시간 단축: 강력한 설계 프로세스 및 FPGA 덕분에 맞춤화 및 신제품을 위한 TTM이 더 빨라진다. Allegro 카메라 하드웨어는 수정없이 사용할 수 있다.
LightWise 이미지 처리 라이브러리
이미지 처리 모듈의 LightWise 라이브러리는 수백 개 또는 독점 적인 맞춤형 FPGA 모듈 또는 ‘코어’로 구성된다. 이 라이브러리는 강력한 FPGA 모듈식 설계를 기반으로 구축되어 사용자가 빠르게 시작할 수 있도록 미리 정의된 옵션을 제공한다. 모듈은 개발 시간과 출시 시간을 최소화하기 위해 확장 가능하고 재사용되도록 설계되었다.
FPGA 설계의 중요한 기능은 이러한 모듈을 이미지 처리 파이프라인으로 주문할 수 있다는 것이다. 원시 사진 또는 비디오 이미지는 이 처리 파이프라인을 통해 흐르고 각 모듈에서 연속적으로 스크러빙(scrubbing) 및 형식화되어 애플리케이션을 결정하는 데 유용하다.
Verilog 코어는 △이미지 센서 인터페이스 △이미지 처리 기능
△이미지 압축 및 압축 해제 △DMA 및 중재 기능 △통신 프로토콜 △수술 내비게이션 및 추적 기능 △머신 비전 알고리즘의 가속화 △애플리케이션별 이미지 및 데이터 처리 등과 같은 많은 작업을 수행하기 위해 설계에 사용할 수 있다. 이 많은 라이브러리 내에 기능을 수행하기 위한 모듈이 존재하지 않는 경우, 이미 존재하는 모듈에서 또는 처음부터 신속하게 개발할 수 있다. 이 프로세스는 세 가지 방식으로 지원된다.
• 광범위한 구성 가능성: 모듈화 및 매개변수화를 통해 기능, 센서및 픽셀 치수를 혼합하고 일치시킬 수 있다. 또한 프로그래밍 가능한 로직을 통해 카메라 및 플랫폼별 소프트웨어 접근성과 즉석 시스템 구성이 가능하다.
• 고품질 모듈: 900개 이상의 코어가 포함된 수백 개의 독점적인 모듈 설계는 우수한 이미지 품질을 보장하기 위해 클라이언트 피드백을 기반으로 테스트, 배포 및 재설계되었다. 많은 경우 맞춤형 솔루션은 이미 발견된 많은 개별 센서 결함을 해결했다.
• 성능 특징: 모듈은 프로그래밍 가능한 다중 DMA 엔진과 같은 기능을 사용하여 내부 제한이 센서 속도를 방해하지 않도록 한다. 특히 온카메라 DMA 마스터는 데이터를 메모리 안팎으로 전송하므로 성능이 크게 향상된다.
자료제공: Novanta(www.novanta.com)
