이미지 정리 기능 갖춘 MIT의 칩

양방향 필터로 두 장의 이미지 병합
MIT 마이크로시스템 기술 연구소가 개발하고 대만 기업 Foxconn이 추진하는 사업이 가시화되고 있다. 스마트 폰에서 보다 현실적인 이미지를 만들 수 있는 이미지 처리 회로를 개발한 것.
자료제공 | MIT(web.mit.edu)

기존에 우리가 사용하던 컴퓨터를 활용한 촬영 시스템은 카메라나 스마트폰과 함께 기기에 설치되는 소프트웨어 애플리케이션으로 이루어지는 경향이 있다. 하지만 이런 시스템은 많은 전력을 필요로 하고 실행하기까지 오랜 시간이 걸리는데다 사용자가 시스템이나 장치에 대해 어느 정도 지식이 필요하다. MIT대학 전기공학 및 컴퓨터과학 대학원생인 Rahul Rithe가 지적하는 부분이 바로 이것이다.

Rahul Rithe는 Joseph F.와 Anantha Chandrakasan, 전기공학 교수인 Nancy P. Keithley, 대학원생 Priyanka Raina, 연구과학자 Nathan Ickes, 그리고 대학 학생인 Srikanth Tenneti와 함께 연구팀을 만들어 칩을 개발했다.

Rahul의 연구팀이 개발한 칩은 하이다이내믹레인지(HDR) 이미징 작업을 수행한다. 이 칩은 기존 디지털카메라가 가지고 있던 단점을 상당 부분 완화한다. 디지털카메라에 기록할 수 있는 밝기 범위 제한에서 자유로운 것. 이 작업은 사람의 눈이 사물을 인식하는 것처럼 사진을 캡처하는 방식을 도입했기에 가능했다.

작업을 수행하기 위해 이 칩 프로세서는 세 가지의 로우다이내믹레인지 이미지를 획득한다. 일반적 노출을 가진 영상과 함께 어두운 부분을 찍은 과도하게 노출된 영상과 밝은 지역을 촬영해 얻은 노출이 부족한 영상을 함께 수집하는 것. 이후 세 장의 이미지를 하나로 병합한다.

MIT가 개발한 칩은 위와 같은 작업을 통해 10메가픽셀 이미지를 얻기까지 단 몇십 밀리 초 단위밖에 걸리지 않는다. 기존 소프트웨어 기반 시스템이 같은 작업을 수행하는 데 몇 초 정도 걸리는 것에 비하면 획기적으로 공정에 필요한 시간을 줄였다.

이 칩의 또 다른 기능은 밝기를 높이는 것이다. Rahul Rithe는 “지금까지 어두운 곳에서 촬영을 하는 과정에서 플래시를 터뜨리지 않으면 어둡고 노이즈 낀 영상밖에 얻을 수 없었다”며, “반면 플래시를 터뜨린다면 열악한 실내조명으로 인해 자연광이 손실된다”고 문제점을 제기했다.

MIT가 개발한 칩이 이런 문제와 맞닥뜨릴 경우, 칩 프로세서는 플래시를 사용한 영상과 사용하지 않은 영상, 총 두 장을 촬영한다. 플래시로 촬영한 사진을 통해 세부정보를 추출하는 동안 플래시를 쓰지 않은 사진으로 자연스러운 분위기를 유지하여 두 이미지를 병합하는 방법을 쓴다. 영상에서 노이즈 등 불필요한 부분을 제거하기 위해 원치 않는 부분의 인근 픽셀을 흐릿하게 만든다. 이후 주변의 픽셀과 일치하게 만드는 작업을 거쳐 화질을 자연스럽게 만든다.

기존의 카메라 및 센서도 이런 기능을 이용하지 않았던 것은 아니다. 하지만 기존 필터는 보정하고자 하는 개체의 가장자리 픽셀마저도 흐릿해지는 단점을 낳았다. 반면 이 카메라 센서는 양방향 필터를 사용함으로써 이 문제를 극복했다. 설명에 따르면, 양방향 필터는 비슷한 밝기 값을 할당받은 경우 이웃한 픽셀을 흐리게 만든다. 구체적으로 영상에 찍힌 물체 중 하나가 배경과 매우 다른 선명도를 보인다면 이 칩 시스템은 어느 한 부분이 흐릿하게 되는 것을 방지한다. 이 기능 덕에 윤곽선을 어느 정도 보존할 수 있다.