기획연재 ③ 전방위 카메라의 역사와 전망

<사진 39>는 필자가 YouTube에서 캡쳐한 D12 카메라의 출력 영상 샘플인데, 실제적으로는 두 영상이 부드럽게 연결되지 않는 것을 알 수 있다. 또, 일부 피사체(윗부분의 탑차)는 이중으로 포착되고, 일부 피사체(아랫부분의 보행자)는 부분적으로만 포착된 것을 알 수 있다.
한편, Mobotix사는 2008년 3월경부터 Q22라는 어안 렌즈를 장착한 IP 카메라(Hemispheric Camera Q22 360°)를 판매하였는데, 2008년 9월 12일자의 Q22 홍보 영상이나 2009년 2월 4일자 제품 카탈로그를 보면, Q22의 영상 출력은 원래의 어안 영상과 디지털 팬·틸트·줌 영상 두 가지인 것을 알 수 있으며, 전술한 바와 같이 디지털 팬·틸트·줌 영상은 Zimmermann의 발명을 이용해서도 어느 정도 구현이 가능하다.

한편, 필자의 전방위 영상 처리 알고리즘이 수록된 특허 제0882011호(회전 대칭형의 광각 렌즈를 이용하여 전방위 영상을 얻는 방법 및 장치)는 최초의 우선권 주장 출원일이 2007년 7월 29일이며, 출원일은 2008년 3월 10일이고, 등록일은 2009년 1월 29일이며, 공고일은 2009년 2월 4일이다. 또한, 필자의 디지털 팬·틸트 알고리즘이 수록된 특허 제0898824호(회전 대칭형의 광각 렌즈를 이용하여 전방위 영상 및 직선수차보정 영상을 얻는 방법 및 그 영상 시스템)는 2009년 2월 3일자로 공개되었다.
그런데, 2009년 2월 27일자 보도자료에서 Mobotix사는 세계 최초라며 영상 처리 방식의 전방위 카메라인 Q22를 발표하였는데, 그런데 Q22라는 제품 자체는 최소한 이미 1년 전부터 존재하고 있었으므로, 이 Mobotix News에서 ‘세계 최초’라며 자랑하고 싶었던 것은 전방위 영상 처리 알고리즘이 탑재되어 180° 전방위(180°-Panorama) 영상이 출력된다는 사실이라고 추정된다. <사진 41>은 Mobotix사의 보도 자료(MOBOTIX News)의 일부를 발췌한 것이다.

한편, 필자의 회사와 수년째 법적 분쟁중인 ㈜엠엔씨테크날러지는 또 다른 방식의 전방위 IP 카메라인 전방위 영상 장치(NCAM-180)를 판매하고 있다. <사진 42>는 NCAM-180의 카메라 케이스를 제거한 상태에서 촬영한 사진인데, 어안 렌즈가 장착된 카메라 보드와 인터넷 전송을 위한 네트워크 보드가 보인다.

이 카메라 모듈에는 전방위 영상 처리를 위한 부분이 없는데, 그 이유는 이 카메라 모듈은 사실상 어안 렌즈를 장착한 IP 카메라 모듈에 불과하기 때문이다. 이 카메라 모듈에서 얻어진 어안 영상이 인터넷으로 전송되면 수신단의 데스크탑 컴퓨터, 노트북 컴퓨터, 또는 사실상 컴퓨터인 NVR(Network Video Recorder)에서 전방위 영상이 생성된다.
<사진 43>은 NCAM-180의 부대 소프트웨어(FishCamDIY360 Recorder 또는 FishCamDIY360Player)의 사용자 인터페이스이다. 화면의 오른쪽에는 전방위 영상이나 디지털 팬·틸트 영상들을 위한 메뉴 버튼들이 위치한다. 한편, <사진 44>는 이 소프트웨어에서 얻어진 180° 전방위 영상의 예이다.

그런데, 1982년에 시작된 영상 처리 기반의 전방위/광각 카메라의 역사를 생각할 때 왜 이렇게 오랫동안 이 문제를 제대로 해결한 사람이 없었는지 의아하기까지 하다. 필자의 전방위 영상 처리 알고리즘 개발 이전의 중요한 선행 연구들을 요약하면 다음과 같다.
BC 384년에 태어난 아리스토텔레스(Aristoteles)는 월식(月蝕, lunar eclipse)을 주요 근거로 지구가 둥글다고 주장했으며, 마젤란(Ferdinand Magellan)은 1521년에 세계 최초로 지구 일주 항해에 성공하면서 지구가 둥글다는 것을 증명했다.
반구형의 물체면의 형상을 포착한 어안 영상에서 평면인 전방위 영상을 생성하는 영상 처리 기술은 대략 공 모양인 지구의 지도를 평면인 종이에 작성하는 지도 작성(Map Projection) 기술과 매우 유사하다. 필자가 개발한 영상 처리 기술에서 전방위 카메라의 투사 방식으로 등직교 투사 방식(equi-rectangular projection scheme), 원통형 투사 방식(cylindrical projection scheme), 메카토르(Mercator) 투사 방식 등을 사용하는데, 이는 물론 지도 작성법에서 빌려온 개념들이다. 메카토르 투사 방식은 1569년에 발표되었으니 지도작성법의 역사가 얼마나 오래 되었는지 알 수 있다.
5월호 연재물에서 설명한 것처럼 전방위(Panorama)라는 단어는 영국의 화가 Robert Barker가 만든 단어인데, 그는 1788년에 스코틀랜드 에든버러시의 풍경을 원통형 벽의 내부에 그려서 최초의 전방위 영상(회화)을 만들었다. <사진 46>은 에든버러 대학에 소장되어 있는 Barker의 전방위 회화를 보여준다.
20세기에 들어 CCD나 CMOS와 같은 전자 영상 센서(electronic image sensor) 및 컴퓨터가 개발되었고, 1982년에는 테네시 대학의 Hall 교수가 영상 처리 기반의 광각 카메라 기술을 개발하였다.

천체투영관(天體投影館, planetarium)은 반구(hemisphere)형의 스크린에 별자리 지도나 밤하늘의 풍경 같은 천체 영상을 투영하는 돔(dome)형의 극장인데, 반구형의 스크린에 영상을 투영하기 위하여 어안 렌즈를 사용하기도 한다.
Nelson Max는 1983년에 ‘Computer graphics distortion for IMAX and OMNIMAX projection’이라는 논문을 발표하였는데, 이 논문에는 반원통 모양의 스크린에 어안 렌즈를 사용하여 Omnimax 영상을 투사하기 위한 알고리즘이 제시되어 있다. 특히, 무비 프로젝터에 장착된 어안 렌즈의 투사 방식이 이상적인 등거리 투사 방식과 오차가 나는 것을 감안하여 스크린의 특정 위치에 상점(image point)을 형성하는 필름면 상의 물점(object point)의 위치를 찾는 방법이 기술되어 있다. 따라서 스크린상에 특정한 영상을 투사하기 위하여 필름에 기록된 영상이 어떠한 형태이어야 하는 가를 알 수 있으며, 그러한 영상은 컴퓨터를 사용하여 제작된다. <사진 47>은 반원통 모양의 스크린에 San Francisco 만의 전방위 영상을 투사하기 위한 필름을 컴퓨터로 제작한 것이라고 한다.

Nelson의 영상 처리 알고리즘에 어안 렌즈의 왜곡이 반영되어 있기 때문에 프로젝터에 인접한 관람객은 만족스러운 파노라마 영화를 감상할 수 있다. 그런데 어안 렌즈의 실제 투사 방식을 모델링하는데 있어서 입사광의 천정각을 종속 변수로, 필름면에서의 상 크기를 독립변수로 설정하여 사용에 불편하다. 또한, 불필요하게 근사식을 기수 다항식(odd polynomial)으로만 한정하였다.
1986년에 New York Institute of Technology의 Ned Greene은 ‘Environment Mapping and Other Applications of World Projections’이라는 논문을 발표하였는데, 이 논문에는 광선 추적(ray tracing) 기술을 이용하여 임의의 형상을 가지는 거울면에 비친 영상을 생성하는 기술이 함께 제시되었다. Greene은 구체적인 실시 예로 금속으로 제작된 듯이 반짝이는 거울 표면을 가진 도마뱀을 생성하고, 도마뱀과 분리된 관찰자의 시점을 설정한 뒤 도마뱀의 피부에 비친 주위의 풍경이 관찰자의 시점에서 어떻게 보일까를 계산하였다. 그러나 광학 렌즈를 사용하여 얻은 실제 풍경을 사용한 것이 아니고 가상의 풍경을 왜곡이 없는 가상의 렌즈, 즉 바늘구멍 사진기로 포착한 영상을 사용하였다는 단점이 있다. 또한, 같은 논문에 제시된 정육면체 파노라마를 생각할 때 알고리즘이 엄밀하게 정확하지는 않았던 것 같다.

1991년에 Steven Zimmermann은 학문적으로 의미 있는 최초의 디지털 팬·틸트 기술을 개발하였으나, 어안 렌즈의 왜곡이 완전히 보정되지는 않았다. 1998년에 Eric Gullichsen 등은 Zimmermann의 디지털 팬·틸트 기술에 어안 렌즈의 왜곡을 반영하여 왜곡이 없이 정확한 직선수차보정 영상을 얻을 수 있도록 하였다.
2006년에 Sunex사는 자사의 어안 렌즈를 구매하는 고객들이 사용할 수 있는 Dewarper Mini라는 프로그램도 같이 판매하였는데, 이 프로그램은 Photoshop 프로그램에서 필터 형식으로 불러와서 사용할 수 있는 plug-in 모듈이다. 이 프로그램의 매뉴얼인 Dewarper Mini User Guide 1.1을 보면 DSL219와 같은 Sunex사의 어안 렌즈로 어안 영상을 찍은 후 이를 파노라마(One-Shot Panorama)로 펼칠 수 있다고 되어 있다. <사진 49>는 매뉴얼에 게재된 어안 영상이며, <사진 50>은 이 어안 영상에서 생성된 180° 전방위 영상이다.

정확한 전방위 투사 방식을 따르는 전방위 카메라
필자의 특허 제0882011호는 주로 어안 렌즈로 포착한 영상에서 수학적으로 정확하며 육안으로 가장 자연스럽게 느껴지는 전방위 영상(panoramic image)을 얻는 영상 처리 방법(image processing method)에 대한 방법 특허(method patent)이다.

<사진 52>는 어안 렌즈의 광축이 수평면(X-Z 평면)에 평행할 경우에 전방위 영상을 얻을 수 있는 투사 방식 중에서 가장 대표적인 원통형 투사 방식(cylindrical projection scheme)을 설명하는 도면인데, <사진 52>의 (B)는 특허 제0882011호의 대표 도면이고, (C)는 원통형 투사 방식을 수학적으로 좀 더 명확하게 표현한 것이다.
원통형 투사 방식은 다음과 같이 쉽게 이해할 수 있다. (A)에서와 같이 반원통형 모양의 창문(hemi-cylindrical window)에 그림이 그려져 있다고 가정한다. 그러면, 이 창문에 그려진 그림을 판판하게 펼친 다음 필요한 비율로 축소하여 TV 모니터에 부착하면, 이 창문에 그려진 그림(피사체)과 TV 모니터 상의 그림(실상)의 관계가 바로 원통형 투사 방식이라는 특별한 전방위 투사 방식을 따르게 된다. 전방위 영상의 투사 방식으로 등직교 투사 방식이나 메카토르 투사 방식 등 원통형 투사 방식 이외의 다른 투사 방식을 이용하는 것도 물론 가능하다.

<사진 53>은 화각 190°의 어안 영상이며, <사진 54>는 이로부터 추출된 가로 방향의 화각이 190°인 원통형 투사 방식의 전방위 영상이다. 이 영상에서 일부 수직선이 수직선으로 보이지 않는 이유는 카메라의 방향을 정확하게 수평으로 유지하는 조건과 어안 렌즈와 이미지 센서의 중심을 일치시키는 조건을 실험적으로 완벽하게 만족시키기 어렵기 때문이다.
전방위 영상은 수직선을 수직선으로 포착하는 것이 가장 중요한 조건이므로, <사진 55>에 예시한 바와 같이 수직선에 대한 카메라 광축의 상대적인 방향에 따라서 알고리즘이 달라진다. 카메라의 방향이 지평면에 평행할 경우와, 앞뒤(상하)로 기울었을 경우(pitch), 좌우로 기울었을 경우(roll), 또는 앞뒤와 좌우로 모두 기울었을 경우(pitch & roll)에 각각 다른 알고리즘을 사용해야 한다. 물론, 네 번째 알고리즘으로 모든 상황에서 사용할 수 있다. 그러나 카메라가 수평으로 설치되어 있는데 굳이 더 복잡한 알고리즘을 사용할 이유는 없다.

가끔, <사진 61>과 같이 초고속 카메라로 포착한 영상들을 볼 수 있다. 일반적인 CCD나 CMOS 이미지 센서는 초당 30 프레임(frame)의 영상을 포착하며, TV에서도 초당 30 프레임의 영상이 보여진다. 그런데, 초고속 카메라는 초당 1,000 프레임 내지 10,000 프레임을 포착할 수 있는 특수하게 제작된 CMOS 이미지 센서를 사용한다. 그런데, 영상 처리 기반의 초고속 전방위/광각 카메라를 만들려면 초당 1,000 ~ 10,000 프레임의 영상을 처리하기 위하여 슈퍼컴퓨터가 필요할 것이다. 또한, 영상 처리라는 것은 원본 영상을 가공하여 새로운 영상을 만들어 내는 것이므로, 아무래도 원본 영상에 비하여 약간의 화질 저하를 피할 수 없다. 그런데, Space-variant image sensor라는 기술을 사용하면 이와 같은 문제들을 근본적으로 해결할 수 있다.

카메라 모듈은 PCB 기판, 렌즈, 렌즈 홀더, 이미지 센서, ISP(Image Signal Processor) 등으로 구성되며, 이미지 센서는 카메라 모듈 과정을 통해 휴대폰, 디지털 카메라, 비디오 카메라 등의 최종 수요 시장으로 공급된다. <사진 62>는 현재 시장에서 가장 사랑받는 Sony사의 Exmor 이미지 센서를 보여준다.
이미지 센서는 광학적 상을 디지털 신호로 변환하는 소자로 크게 CCD(Charge Coupled Device)와 CMOS(Complementary Metal Oxide Semiconductor)의 두 종류로 분류하는데, 전통적으로 CCD가 점유하던 시장을 CIS(CMOS Image Sensor)가 점차 잠식하고 있다.

<사진 63> 처럼 일반적인 CMOS 이미지 센서는 바둑판 모양으로 배열된 다수의 픽셀, 수직 시프트 레지스터(vertical shift resister) 및 수평 시프트 레지스터(horizontal shift register)로 구성된다. 각 픽셀은 수광된 빛의 세기를 전하의 양으로 변환하는 광전소자(photodiode) 및 전하의 양을 전압으로 나타내는 전하검출용 증폭기(amplifier)를 구비하며, 어느 한 픽셀에 포착된 빛은 픽셀 단위에서 전압으로 변환된 뒤, 수평 시프트 레지스터와 수직 시프트 레지스터를 통하여 신호선(signal line)으로 출력된다.
그런데, Space-variant 이미지 센서라는 것은 픽셀들이 이와 같이 바둑판처럼 배열되어 있지 않고, 이미지 센서면 내의 위치에 따라서 픽셀들의 상대적인 위치나 밀도가 변화하는 이미지 센서를 의미한다.

그 동안 다양한 형태의 Space-variant image sensor가 연구된 바 있으나, 상업적으로 가치있는 구조는 제안된 적이 없다. Motorola(US 5,489,940)와 Micron(US 6,738,057, WO 2008/130882)은 광각 렌즈의 왜곡 보정을 위한 이미지 센서 특허를 출원 내지 등록한 바 있으나, 그 기술로는 어안 렌즈를 포함한 광각 렌즈의 왜곡을 실제로는 보정하지 못한다.
한편, 필자의 등록 특허 제0988872호(회전 대칭형의 광각 렌즈를 이용하여 복합 영상을 얻는 방법과 그 영상 시스템 및 하드웨어적으로 영상처리를 하는 이미지 센서)의 이미지 센서 부분 발명을 이용하면 직선수차보정 카메라용 이미지 센서, 전방위 카메라용 이미지, 다시점 카메라용 이미지 센서들을 제작할 수 있으며, 어안 렌즈와 결합하여 별도의 영상처리 없이 전방위 또는 광각 영상이 출력된다. 필자는 이와 같은 이미지 센서를 ‘하드웨어적으로 영상 처리를 하는 이미지 센서(Hard-wired image sensor)’라고 지칭하고 있다.