데이터는 줄이고, 정밀도는 높이는 ‘이벤트 기반 비전 센서(EVS)’의 혁신
빠른 움직임을 정밀하게 감지하고 분석하는 일은 카메라 기술의 가장 큰 도전 과제 중 하나다. 고속 카메라는 높은 해상도와 프레임 속도를 제공해 세밀한 정보를 얻을 수 있지만, 동시에 방대한 데이터를 생성한다.
이렇게 쏟아지는 데이터는 저장·전송·처리에 막대한 자원을 소모할 뿐 아니라, 대부분은 움직임과 무관한 정적 정보라 결국 걸러내는 데도 비용이 든다. 반대로 프레임 속도를 낮추면 데이터는 줄어들지만, 모션 블러나 세부 정보 부족이 발생한다. 결국 기존의 이미지 기반 카메라는 늘 이런 타협을 피하기 어려웠다.
하지만 움직임 정보를 기록하는 방법은 반드시 ‘프레임’일 필요가 없다. 새로운 센서 기술은 데이터 양을 획기적으로 줄이면서도 필요한 정보만을 뽑아낸다. 그것은 바로 ‘이벤트 기반 비전 센서 (Event-based Vision Sensor, 이하 EVS)’다.
뇌에서 영감을 얻은 혁신 기술
이벤트 기반 이미징은 뉴로모픽(Neuromorphic) 센서 기술로도 불린다. 인간의 신경계처럼 작동하며, 빛 자극을 단순히 모두 기록하는 대신 밝기·대비·움직임의 변화에만 반응한다. 인간의 뇌가 동일한 자극은 무시하고 변화에 집중함으로써 효율적으로 환경을 인식하듯, EVS 역시 불필요한 정적 데이터를 배제하고 움직 임에 초점을 맞춘다. 덕분에 시스템은 과도한 데이터에 휩쓸리지 않고 필요한 정보만 빠르게 처리할 수 있다.
이 기술은 소니와 Prophesee(프로페씨)가 협력해 개발한 특수 픽셀 구조를 기반으로 한다. 픽셀 값의 대비가 특정 임계치를 넘으면 ‘변화 이벤트(change event)’가 발생하며, 각 픽셀은 주변 픽셀과 무관하게 실시간으로 반응한다. 즉, 고정된 프레임 간격에 묶이지 않고 필요할 때만 데이터를 발생시키는 것이다.
이벤트 기반 센서의 성능을 가늠하는 핵심 지표는 시간 해상도 (temporal resolution)다. 예를 들어 소니의 IMX636 센서는 픽셀 간 이벤트 발생 최소 간격을 1마이크로초(1μs)로 제시한다. 이는 사실상 ‘빈틈없는’ 움직임 기록을 의미하며, 기존 이미지 센서로 동일한 속도를 구현하려면 초당 1만 프레임 이상을 처리해야 하는 수준이다.
▲ 일반 카메라(좌)와 이벤트 기반 카메라(우)의 차이: 프레임 단위로 전체 장면을 기록 하는 기존 방식과 달리, EVS는 움직임이 발생한 순간만을 포착해 데이터 효율성을 극대화한다.
‘이미지’가 아닌 ‘변화’만 포착
이미지 기반 센서는 일정 간격마다 센서 전체에서 발생한 데이터를 모두 전송한다. 따라서 프레임 속도를 높이면 막대한 양의 중복 데이터가 발생하고, 속도를 낮추면 중요한 순간을 놓치게 된다.
반면 이벤트 기반 카메라(EVS)는 같은 시간 동안 훨씬 적은 데이터를 생성한다. 시야 안에서 실제 변화가 있을 때만 픽셀이 이벤 트를 발생시키기 때문이다. 즉, EVS가 만들어내는 데이터 양은 장면의 활동 수준에 따라 달라지며, 환경 조건이 변하면 자동으로 적응한다. 이 덕분에 개발자는 더 이상 ‘고프레임 속도 vs 과도한 데이터’라는 딜레마를 겪지 않아도 된다.
모션 블러(blur)에서 모션 샤프니스(sharpness)로 기존 센서는 빠른 움직임을 포착할 때 모션 블러(Motion Blur) 현상이 발생하기 쉽다. 이는 물체의 경계선(예: 객체의 윤곽)이 노출 시간 동안 여러 픽셀을 가로지르면서, 각 픽셀이 서로 다른 위치의 빛을 기록하기 때문이다. 움직임이 빠를수록, 또는 노출 시간이 길수록 왜곡 없는 선명한 이미지를 얻기가 더 어려워진다.
EVS 픽셀은 원리가 다르다. 유입되는 빛의 변화를 실시간으로 평가한다. 픽셀 값이 임계치를 초과하면 이벤트가 발생하며, 이는약 1마이크로초 단위로 기록된다. 그 결과, 가장 빠른 움직임도 픽셀 단위로 연속 추적할 수 있고, 모션 블러 없는 깨끗한 움직임 데이터가 확보된다. EVS가 만들어내는 것은 전통적인 영상 프레임이 아니라, 움직임 궤적을 고해상도로 묘사하는 픽셀 이벤트 스트 림이다.
▲ EVS 픽셀은 유입되는 빛을 지속적으로 감지하다가 밝기 변화가 임계값을 넘으면 상향 또는 하향 이벤트를 발생시킨다.
<표> 이미지 기반 카메라와 이벤트 기반 카메라 데이터 비교
더 적은 데이터, 더 효율적인 정보
EVS 카메라가 출력하는 원시 데이터는 픽셀 위치(X/Y), 이벤트 극성(ON/OFF), 타임스탬프(T)와 같은 변화 이벤트의 흐름이다. 이러한 데이터 스트림은 매우 간결하고 효율적이지만, 전통적인 카메라처럼 ‘이미지’를 제공하지는 않는다. 따라서 사람 눈에는 직관적으로 해석하기 어렵지만, 기계와 알고리즘이 처리하기에는 최적화돼 있다.
만약 이벤트 스트림을 시각화한다면, 이는 일반 2D 카메라의 에지 검출(Edge Detection) 결과와 유사한 형태로 보인다. 이는 균일하게 조명이 비치는 면보다 대비 변화가 두드러지는 물체의 경계선에서 이벤트가 더 많이 발생하기 때문이다.
EVS 카메라는 오직 관련성 있는 데이터만 기록하기 때문에 저장공간과 처리 부하가 크게 줄어든다. 또한 이벤트 정보 자체가 움직임의 패턴이나 방향 인식을 지원한다. 기록된 이벤트 간의 시간 간격을 활용하면, 많은 이미지를 처리하지 않고도 픽셀 또는 물체의 이동 속도를 직접 계산할 수 있다. 이는 불필요한 정적 배경 데이터를 제거하고 핵심 정보를 빠르게 추출하는 데 효과적이다.
데이터량이 적기 때문에 다수의 프로세스를 사실상 실시간으로 분석할 수 있다. 또한 멀티 카메라 시스템 구현도 훨씬 용이해진다. 케이블, 전원 공급 등 주변 장치의 부담이 줄어들고, 호스트 PC의 영상 처리 성능 요구도 낮아져 전체 시스템을 더 작고 비용 효율적으로 설계할 수 있다.
▲ 이벤트 기반 카메라로 촬영한 장면: 움직임이 발생한 부분만을 데이터로 기록해 인물의 윤곽과 동작 경로를 효율적으로 포착한다.
시간 데이터의 새로운 활용
마이크로초 단위의 정밀한 타임스탬프와 개별 픽셀 이벤트의 위치 정보를 기반으로, 기존 카메라로는 불가능했던 전혀 새로운 응용 가능성이 열리고 있다. 이벤트 기반 센서가 생성하는 변화 이벤트에는 이미 유용한 데이터가 포함되어 있으며, 이를 통해 다양한 부가 정보를 도출할 수 있다. 반면 고정된 프레임 속도로 작동하는 기존 카메라는 일정한 샘플링 주기 탓에 이러한 세밀한 정보를 놓치거나, 방대한 중복 데이터 속에서 의미가 희석되는 한계를 지닌다.
흥미로운 응용 사례 중 하나가 슬로모션 영상 생성이다. 포착된 픽셀 이벤트를 시간 그리드에 누적해 완전한 센서 이미지를 재구 성하면, 가변적인 ‘노출 시간’을 가진 슬로모션 영상이 만들어진다. 선택한 누적 시간과 디스플레이 프레임 속도에 따라 재생 속도를 자유롭게 조정할 수 있는데, 이는 이벤트당 한 프레임으로 구현되는 극초고속 슬로모션부터, 약 33밀리초 간격의 실제 움직임 재현, 정지화상에 이르기까지 다양하다. 모든 이벤트를 시간 순서대로 결합하면 물체의 완전한 움직임 기록이 드러난다.
또한 이벤트 데이터는 속도와 방향 정보를 직접 추출할 수 있어, 복잡한 이미지 처리 과정 없이도 물체의 운동을 정량적으로 분석할 수 있다. 나아가 일정 시간 범위 내에서 픽셀 이벤트의 위치와 시간을 3D 시각화로 누적하면, 움직임의 궤적을 질적으로 표현할수 있다. 이는 액체나 기체의 흐름을 정밀하게 감지하는 유동 분석(Flow Analysis) 분야에서 특히 유용하게 활용된다.
▲ 이벤트 기반 데이터의 누적은 유체 흐름을 시각화하고 정량화하는 데 이상적인 분석 자료를 제공한다.
새로운 데이터, 새로운 처리 방식
이벤트 기반 센서가 만들어내는 데이터는 기존의 주기적 이미지 처리 방식과는 전혀 다르기 때문에, 이를 활용하려면 개발자들에게 새로운 접근 방식이 요구된다. 물론 여러 이벤트 데이터를 고전적인 프레임 형태로 묶어 일정한 프레임 속도의 이미지처럼 처리할 수도 있다. 하지만 이 방식은 데이터의 동적 특성과 시간 정밀도라는 EVS의 장점을 충분히 살리지 못한다. 빠른 움직임을 마이크로초 단위로 포착할 수 있는 능력이나, 한 번에 적은 데이터만 처리함으로써 얻는 효율성과 저전력 특성은 그대로 묻히게 되는 것이다.
따라서 이벤트 데이터에서 패턴, 움직임, 시간, 구조를 빠르고 효율적으로 추출하려면, 전용 기능과 알고리즘이 필요하다. 현재 널리 알려진 이미지 기반 표준 비전 프레임워크에서는 이러한 기능을 찾기 어렵다.
이에 Prophesee와 소니는 새로운 센서 기술을 위해 맞춤형 처리 방식을 개발하고, 이를 지원하는 Metavision SDK를 공개했다. 상세한 문서와 다양한 샘플을 포함한 이 개발 도구를 통해 사용자는 곧바로 새로운 기술의 가능성을 경험할 수 있다.
실시간 초정밀 분석
뉴로모픽(Neuromorphic) 센서는 품질 보증과 개선 분야에서도 중요한 역할을 한다. 특히 정밀도·속도·효율성이 동시에 요구되는 결함 검출 애플리케이션에서 그 가치는 더욱 두드러진다. EVS는 픽셀 단위의 미세한 물체나 재질 변화를 실시간으로 기록할 수 있으며, 시간 해상도가 마이크로초 단위까지 확장되어 진동 이나 음향 신호와 같은 고주파 움직임까지 시각화할 수 있다. 이를 통해 마모나 오작동 등 이상 패턴을 조기에 발견해 장비 손상 이나 생산 라인 다운타임을 예방할 수 있다.
또한 EVS는 움직임이나 대비 변화에만 반응하기 때문에 빛의 변화(반사·그늘 등)에 훨씬 덜 민감하다. 조명이 크게 달라지는 환경에서도 기존 영상 처리 시스템보다 안정적으로 작동한다. 따라서 빠른 결함 검출, 공정 모니터링, 까다로운 환경에서의 검사 등품질 보증 프로세스에서 EVS의 장점은 더욱 빛을 발한다.
EVS는 트렌드인가, 필수 기술인가?
이벤트 기반 센서는 완전한 이미지를 기록하지 않고 시간 축을 따라 발생하는 픽셀 변화만을 포착한다. 그러나 이러한 데이터는 다양한 형태의 시각화로 재구성될 수 있어, 기존 이미지 센서 기반 카메라만으로는 얻기 어려운 풍부한 움직임 정보를 제공한다.
따라서 EVS는 기존 영상 처리나 AI 기반 이미지 분석과 경쟁 관계가 아니라 보완적 기술이다. 움직임을 정밀하게 기록해야 하는 영역에서는 기존 카메라와 결합해 새로운 가능성을 열어준다. 실제 산업 현장에서는 하나의 센서나 단일 데이터 유형만으로는 충분하지 않은 경우가 많다. 고객 요구에 최적의 해답을 제공하려면 다양한 정보, 즉 서로 다른 카메라 범주의 결합이 필요하다.
이벤트 기반 카메라는 따라서 단순한 ‘기술 트렌드’에 그치지 않는다. 고속 움직임 분석, 산업 품질 보증, 로보틱스, 자율 시스템등 다양한 분야에서 반드시 고려해야 할 핵심 요소로 자리 잡아가고 있다.
자료제공: IDS(www.ids-imaging.us)
