일반 디지털 카메라 기술을 사용한 3D 비전 소형 변형 거울 실험을 통해 증명된 기술
현대의 카메라는 이미 오토포커스, 파노라마 이미지 안정화, 고화질 비디오 등 여러 가지 놀라운 기능들을 탑재했지만 3D영상에는 적합하지 않았다. 하지만 듀크대학교(Duke University)의 데이비드 브래디(David Brady) 교수가 이끄는 엔지니어팀에서 일반 디지털 카메라의 부품들을 리퍼포징(Repurposing: 다른 용도에 맞게 변형시킴)만으로 3D 영상 기능을 해결해 이목이 집중되고 있다.
문제점 해결방법
듀크대학교 엔지니어팀이 소형 변형 거울(Deformable mirror)을 사용한 개념증명이 연구실 실험에서 성공적으로 증명되었다고 밝혔다.
변형 거울이란 빛을 비추고, 빛에 초점을 맞출 수 있는 반사표면을 말하는데 이 연구는 현대 디지털 카메라에서 해당되는 기술인 영상 안정화와 초점 모듈이 추가적인 하드웨어 없이 동일한 결과를 얻기 위해서 이용될 수 있는 방법이다. 듀크대 데이비드 브래디 교수와 연구팀은 이 연구발견을 OSA(Optical Society of America)가 발행하는 옵티카(Optica) 저널에 발표했다.
이 엔지니어팀은 실험 목적이 단일 샷(Shot) 영상으로부터 피사계 심도 정보를 추출하는 것이며 영상의 품질에 대한 변화가 없고, 여러 개의 영상이 요구되는 기존의 3D 영상 기술과는 다른 것이라고 주장했다. 또한 상업적 카메라와 다른 광학 기술이 통합되었기 때문에 이 시각기술은 영상 안정화와 같은 중심적 기능이 향상될 수 있었으며, 오토포커스의 속도가 증가할 수 있었으므로 사진의 품질이 향상되는 것이라고 전했다.
듀크대 DISP(Duke Imaging and Spectroscopy Program)에 참여하고 있는 Patrick Llull은 “실제 장면들은 3차원이며, 다양한 거리에서 초점이 맞춰진 여러 개의 영상을 찍어서 일반적으로 캡처될 수 있다”고 말했다. 이어서 “3D 영상 캡처의 속도와 품질을 향상시키기 위해 필요한 다양한 단일 샷 방법이 지난 수십 년 동안 발표되었다. 그러나 각각의 방법에서는 2D 영상의 영구적인 품질 저하와 하드웨어 복잡도가 문제가 되었다”고 덧붙였다.
이 연구팀은 적응형 시스템을 개발함으로써 이러한 문제점을 해결할 수 있었으며 이 적응형 시스템은 렌즈를 교체하는 것과 같은 시스템의 변화가 없이도 전 해상도의 2D 영상을 캡처할 수 있는 능력을 유지하면서 3D 데이터를 정확히 추출할 수 있었다고 말했다.
3차원으로의 새로운 통로
저널에 따르면 사람들은 시차(Parallax)라고 알려진 처리과정에 의해서 3차원을 볼 수 있게 되는데 이것은 각각의 눈에서 인식하는 정보가 서로서로 약간씩 상쇄된다. 두뇌는 이렇게 미세한 다른 신호를 해석하고 처리할 수 있기 때문에 각각의 눈으로 보는 확실한 변위가 얼마나 다른 거리와 관련되어 있는지를 인식하게 되므로 사람들이 깊이를 인지할 수 있다고 한다.
또한 전통적인 3D 영상은 영상과 장면들이 두 가지의 미세한 오프셋 렌즈를 가지고 기록되는 동일한 원칙에 따르게 되며 투영되거나 처리될 때, 기존의 3D 형태가 복구된다. 이러한 기록 처리과정은 2D 영상보다 두 배 많은 데이터를 요구하게 된다. 그래서 이것은 3D 사진과 비디오의 부피가 더 커지게 만들며, 비용이 많이 들고, 데이터 집약적이다.
Llull은 “우리는 주요한 하드웨어를 변경하지 않고도 사람들이 이미 가지고 있는 휴대용 카메라 기기를 사용하여 동일한 결과를 얻게 되기를 원한다”고 말했다.
깊이 정보를 복구하는 안정화 방법
특별히 비디오 기능을 가지고 있는 현대 디지털 카메라에는 기록한 것에서 지터(Jitter)를 찾아내는 모듈이 설치되어 있다. 그것은 관성 또는 카메라의 움직임을 측정함으로써 가능한데, 모듈에서 렌즈를 빠르게 움직여서 초당 여러 개의 보상을 만들어서 조정될 수 있다.
이와 동일한 하드웨어는 영상 캡처 처리과정을 변화시킬 수 있으며, 장면에 관한 추가적인 정보를 기록하게 된다. 적절한 소프트웨어와 처리과정을 가지고 있는 이러한 추가적 정보는 다른 숨겨진 3차원을 해결할 수 있다.
연구원들에 따르면 첫 번째 단계는 카메라가 3D 정보를 기록하도록 하는 것이며 이것은 동시에 세 가지 지능을 수행하기 위해서 카메라가 프로그래밍 됨으로써 이루어지는 것이다. 즉, 센서를 가진 초점 범위를 통해서 훑게 되며, 통합이라는 처리과정에서 한 주기의 시간 동안에 빛을 모으고, 안정화 모듈을 활성화시키는 것이라고 주장했다.
광학적 안정화가 이용되기 때문에 고정된 지점에서 영상이 움직이도록 렌즈를 흔들게 되는데 센서의 초점 범위와 관련되어 있는 이것은 각각이 초점 위치가 다른 광학 응답에 부여되기 때문에 영상에 대한 세부사항들을 보존하는 방법으로 이러한 정보를 단일 측정에 통합하게 된다.
또한 다양한 초점 셋팅으로부터 얻어지게 되는 영상은 해당되는 깊이에 근거하여 이러한 측정들을 직접 인코딩하게 된다.
데이터가 풍부한 제품 데이터 큐브 획득
논문을 위해서 연구원들은 기기의 셋업을 보상하기 위한 비교적 긴 노출 시간을 사용하였고 카메라의 동작을 에뮬레이트하기 위해서 빔 스플리터는 변형할 수 있는 렌즈를 제어하는데 필수적이다. 이러한 추가적인 단계는 받아들인 빛의 75%를 희생하게 된다.
Llull은 “빔 스플리터 없이 완전히 통합된 카메라가 변경되었을 때, 이러한 빛 손실은 문제가 되지 않을 것이며, 더 빠른 노출 시간이 가능해질 것”이라고 말했다.
연구원들은 이러한 카메라를 가지고 얻은 단일 노출을 처리할 수 있었으며, 데이터 큐브(Data cube)로 알려진 데이터가 풍부한 제품을 얻을 수 있게 되었다고 전했다. 또한 이것은 모든 초점의 3D 영상뿐만 아니라 깊이 지도로 알려진 추가적인 요소를 모두 포함하는 컴퓨터 파일인데 이러한 깊이 지도 데이터를 각 영상의 픽셀에 대한 초점 위치를 효율적으로 설명하게 되며 이러한 정보가 이미 단일 측정을 인코딩하기 때문에 전체 영상을 위한 깊이 지도를 만드는 것이 가능하게 된다고 전했다.
마지막 단계는 상업적인 3D 그래픽 엔진을 가진 영상과 깊이 지도를 처리하는 것이며 이것은 비디오 게임과 할리우드 영화에서 사용되는 컴퓨터 생성 영상에서 3D 장면을 렌더링하는 것과 유사한 것이다.
결과적인 영상은 오토포커싱 알고리즘이 했던 것처럼 연속적인 전해상도 2D 샷을 위해 적합한 초점 셋팅을 결정하는데 사용될 수 있으나 단지 하나의 영상으로부터 만들어진 것이다.
추가적으로 합성된 재초점은 사람이 다른 깊이를 가지고 있는 영상을 보는 것처럼 장면을 디스플레이하기 위해서 결과로 나타난 3D 영상을 사용할 수 있다.
연구실내에서 기술이 실행되었지만, 연구원들은 기본적인 소비자 제품에 적용될 수 있는 기술이 될 것으로 믿고 있다. 연구결과는 더 효율적인 오토포커싱 처리과정이 되었을 뿐만 아니라, 기존의 사진에 대한 추가적인 3차원이 될 수 있었다.
Llull은 “우리는 2D 처리과정으로부터 3D 정보를 얻어낼 수 있는 새로운 방법을 발견하였다. 이것의 장점은 기존의 시스템을 거의 변경하지 않고도 단층 영상의 이중적 기능과 전해상도 3D 캡처를 얻을 수 있는 것”이라고 말했다.
자료제공 | KISTI 미리안 『글로벌동향브리핑』
