저해상도 센서를 사용한 고성능 카메라

메가 픽셀에 대한 기술 경쟁 덕분에 우리는 메가 픽셀의 수십 배를 가지는 카메라를 사용하게 되었다. CMU와 컬럼비아대학교의 연구원들은 LiSens라는 새로운 카메라를 개발하고 있다. LiSens는 저해상도 센서를 가지고 있지만, 새로운 광학을 사용함으로써 센서가 가지고 있는 해상도보다 더 높은 해상도를 갖는 장면을 감지할 수 있게 된다.

CMOS 기반 제조기술로 고해상도 획득
우리가 가지고 있는 핸드폰과 SLR에 장착된 센서들은 실리콘으로 만들어진 것으로서 눈으로 볼 수 있는 빛의 파장에서 민감하다. 이것은 CMOS 기반 제조기술의 향상과 결합되어져서 센서의 비용을 낮출 수 있었으며, 이와 동시에 훨씬 더 높은 해상도를 가지게 되는 센서의 능력을 증가시켜주게 되었다.
많은 파장 대역에서 이것은 실리콘의 민감도를 벗어나는 것이기 때문에 센싱은 매우 비용이 많이 들게 되었다. 이러한 두 가지의 사례는 단파 적외선(0.9~3 마이크론)과 중파 적외선(3~8마이크론)에 속하는 것이다. 이 두 가지 파장에서 메가 픽셀 센서의 비용은 일반적으로 수천 달러에 이르게 된다. 결과적으로 고해상도 단파와 중파 적외선 센서들은 매우 고가이기 때문에 일반적인 소비자들에게는 적당하지 않은 것이다.

LiSens 카메라 저해상도 센서로 고해상도 장면 감지
CMU와 컬럼비아대학교의 연구원들은 LiSens라는 새로운 카메라를 개발하고 있다. 이것은 1,000픽셀 정도의 센서를 사용하게 되지만, 거의 메가 픽셀에 이르는 해상도의 영상과 비디오를 만들어내게 된다. 즉, LiSens는 저해상도 센서를 가지고 있지만, 새로운 광학을 사용함으로서 센서가 가지고 있는 해상도보다 더 높은 해상도를 갖는 장면을 감지할 수 있게 된다. 이것은 DMD(Digital micro-mirror array)에서 장면을 포커싱함으로써 이루어질 수 있는 것으로서 연속적으로 DMD가 저해상도 센서에 포커싱을 하게 된다. DMD는 빛이 그 방향을 향하거나 또는 센서로부터 떨어져서 비출 수 있는 작은 연속적인 거울이다.
LiSens의 경우에, 우리는 센서의 각 픽셀이 전체 DMD 컬럼에서 빛을 모두 합칠 수 있는 선형적인 센싱 요소 또는 라인 센서들의 어레이를 사용하고 있다. 프로그램 가능한 DMD의 특징과 원하는 픽셀에서 빛을 차단할 수 있는 능력이 있기 때문에 라인 센서를 통해서 얻어진 각각의 측정은 장면에 있는 라인을 따라서 코드화된 합이 된다. 다른 코드를 가지고 이러한 측정들이 여러 번 주어지게 되면 우리는 완전한 해상도에서 DMD에 초점을 맞춘 영상을 복구할 수 있게 된다.

LiSens SPC에 대한 멀티 픽셀 확장
라인 센서에서 얻어진 측정은 기존의 영상과는 매우 다르다. 그러나 우리는 장면 대 센서(Scene-to-sensor) 매핑을 통해서 얻은 지식을 가지고 있기 때문에 라인 센서에 의해 얻어진 이러한 측정을 변환시킬 수 있고, 장면에 대하여 영상을 계산할 수 있는 알고리즘을 디자인할 수 있다. 이러한 것을 가지고 우리는 1024 픽셀의 저해상도 센서를 가지고 있음에도 불구하고 1024×768 픽셀의 고해상도 장면을 감지할 수 있게 되었다.

LiSens는 SPC보다 100~1,000배 측정비율
LiSens는 SPC(single pixel camera)라는 것 위에 만들어지게 된다. 이것은 장면을 감지하기 위해 단일 광감지기를 사용하는 것이다. LiSens는 SPC에 대한 멀티 픽셀 확장으로서 이해될 수 있다. LiSens는 SPC보다 거의 100~1,000배의 측정 비율을 만들 수 있다.
이것은 상당히 높은 시공간적인 해상도에서 LiSens가 장면을 감지할 수 있도록 해주는 것이다. 우리가 지불하고 있는 가격은 센서의 비용 증가에 대하여 적당한 것이다.
Aswin Sankaranarayanan의 연구는 텍사스 휴스턴에서 열리는 2015 국제 컴퓨테이셔널 포토그래피 컨퍼런스에서 발표되었다.

자료출처 | KISTI 미리안 『글로벌동향브리핑』

로봇 연구 방향을 제시하는 곤충의 비전 시스템

곤충들이 먹이를 보고 추적하는 방식이 아델라이드 대학교(University of Adelaide)에서 개발 중인 새로운 로봇에 적용되고 있다.

로열 소사이어티 인터페이스(Royal Society Interface) 저널에 간행된 논문에서, 연구진들은 곤충과 인간 모두로부터의 지식이 어떻게 가상현실 시뮬레이션 모델에 적용되고 인공지능 시스템이 어떻게 목적물을 찾도록 할 수 있는지를 기술했다.
“복잡한 환경에서 작은 물체를 검지하고 추적하는 것은 매우 도전적인 작업”이라고 이 대학교 기계공학 박사과정, 선임 저자인 자라 바게리(Zahra Bagheri)씨는 말했다.
이 대학교 박사과정 학생인 자라 바게리(Zahra Bagheri)씨와 지도교수인 기계공학부 벤저민 카졸라토(Benjamin Cazzolato) 교수는 로봇 개발을 진행 중이다. 이 로봇은 곤충의 비전 시스템에 기반을 둔 알고리즘을 사용한 비전 시스템을 그 특징으로 한다.
이 대학교 신경과학자인 스티븐 비더만 박사 연구실에서 수행된 이 연구는 잠자리와 같은 곤충이 매우 혼란스러운 상황에서도 먹이나 짝을 추적하는 등의 아주 우수한 시각적 가이드를 제공한다는 사실을 보여주었다.
“그들은 낮은 시각적 민감성 그리고 쌀 크기 하나 정도에 불과한 아주 작은 뇌에도 불구하고 이 작업을 수행한다. 잠자리는 60km/h의 속도까지 먹이를 쫓아서 약 97% 이상의 확률로 먹이 포획에 성공한다”고 바게리씨는 말했다.
이 대학교 연구팀은 현재 존재하는 우수한 엔지니어링 목표 추적 알고리즘과 비슷한 성능을 보이면서도 20배 정도까지 빠르다는 사실을 발견했다.
비더만 박사는 “이러한 종류의 성능은 꽤 단순한 프로세서를 사용한 실시간 애플리케이션이 가능하게 한다”고 말하고 “우리는 현재 하드웨어 플랫폼과 자연에서 영감을 얻은 자동 로봇에 이 알고리즘을 이식시키기 위해 연구 중”이라고 덧붙였다.
자료제공 | KISTI 미리안 『글로벌동향브리핑』