기획연재 ② 전방위 카메라의 역사와 전망

광각 보정 기술과 팬·틸트 기술

지난 호에서는 전방위 카메라의 다양한 종류와 어안 및 PAL 렌즈의 구조와 이론에 대해 살펴보았다. 이번 호에서는 좀 더 나아가 광각 렌즈를 사용하여 얻은 영상에서 왜곡을 보정하는 기술들에 대해 알아본다. 광각 보정 기술과 팬·틸트 기술의 장,단점 및 특징들을 여러 예시를 통해 살펴보자.

로봇용 시각 센서로 개발된 광각 보정 기술
어안 렌즈나 전방위 렌즈와 같은 광각 렌즈를 사용하여 얻은 영상에서 왜곡이 없는 광각 영상을 얻는 연구는 주로 로봇이나 컴퓨터 분야의 연구자들이 주도를 해왔다.
그 이유는 다음과 같다. 예를 들어 청소 로봇이 효율적으로 청소를 하려면, 정확한 실내 지도를 가지고 있는 것이 좋다. 정확한 지도가 있으면 길 찾기가 쉬워질 뿐만 아니라, 효율적인 청소 계획을 세울 수 있기 때문이다. 하지만 주인이 로봇에게 지도를 그려줄 수는 없다. 화분을 옮기거나, 실수로 물건을 바닥에 떨어뜨리거나, 강아지가 제멋대로 방안을 돌아다니거나 하는 일상적인 사건들이 모두 지형 변화에 해당하는데, 이를 항상 최신 상태의 지도로 갱신하기는 어렵기 때문이다. 로봇이 상시적으로 지도를 갱신하기 위해서는 왜곡이 없는 광각 렌즈로 최대한 넓은 영역의 사진을 찍는 것이 효율적이다.
광각 영상 보정 연구의 선구자는 테네시 대학(The University of Tennessee)의 E. L. Hall 교수인데, 그는 Oak Ridge National Laboratory(ORNL)가 주도하는 연구에 참여하여 1982년에 ‘Omnidirectional real time imaging using digital restoration’이라는 논문을 발표했다.
그는 이 논문에서 Canon사의 1981년판 교환 렌즈 가이드를 언급하면서 구할 수 있는 (왜곡이 없는) 광각 렌즈의 화각이 104°에 불과하다고 지적하고 있다. Canon이 2015년에 출시한 EF 11-24mm f/4L 렌즈의 경우에 DSLR용으로 전 세계에서 가장 넓은 화각을 가지고 있다고 하는데도 불구하고, 대각 방향의 최대 화각은 126°에 불과하다. 더구나 무게가 1165g에 달하므로 로봇에 장착하기에는 너무 크고 무겁다.
이와 같은 이유에서 어안 렌즈를 사용하여 광각 영상을 얻은 후에 영상 처리를 통하여 왜곡이 없는 광각 영상을 얻는 영상 처리 기반의 광각 영상 시스템이 오랫동안 연구되었으며, Hall 교수는 논문에서 바이킹(Viking) 우주선이 보내온 광각 영상을 NASA에서 영상 보정을 하여 대중에게 곧 공개할 것이라고 소개하고 있다. 그런데, 그의 논문은 이해하기가 사실상 불가능하며, 필자는 적지 않은 오류가 존재하는 것으로 확신하고 있다. 그 논문에는 어안 영상과 이로부터 얻은 광각 영상 샘플이 제시되어 있는데, <사진 21>은 그의 1983년 논문에 게재된 샘플 영상들이다.

<사진 21>에서 (a)는 원래의 어안 영상이고, (b)는 그 중에서 선택된 어안 영상의 일부이며, (c)는 이 어안 영상을 보정한 광각 영상이다. <사진 21>을 보면 광각 영상 보정의 결과를 더 확연하게 시연할 수 있는 다른 피사체(예를 들어 많은 창문이 바둑판 모양으로 달려있는 높은 빌딩)를 왜 선택하지 않았는지 의심스럽고, 또 필자는 이 사진들 외에 Hall 교수의 알고리즘으로 얻어진 다른 영상 샘플들을 아직까지도 찾을 수 없었다. 실제로는 Hall 교수의 알고리즘이 불완전하여 만족스러운 광각 영상들을 얻지 못하는 것이 아닌가 추측된다.

가상 항해와 디지털 팬·틸트 기술

집안에서 컴퓨터 앞에 앉아있거나 스마트폰을 손에 들고 있는 야구팬이 잠실야구장에 직접 가지 않고도 마치 그곳 관중석에 앉아있는 것처럼 볼 수 있으려면 무엇이 필요할까? 경기장 한쪽에 팬(pan)·틸트(tilt)·줌(zoom) 카메라를 설치하고, 야구팬에게 그 카메라에 접속 및 조정할 수 있는 권한을 부여하면 된다.
팬·틸트·줌 카메라는 광학적 줌 기능을 가지고 있는 렌즈를 장착한 비디오 카메라를 팬·틸트 스테이지(stage)에 장착함으로써 구현된다. 팬 작용은 수평 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말하며, 틸트 작용은 수직 방향으로 소정의 각도만큼 회전할 수 있는 기능을 말한다. 다시 말하면 카메라가 천체를 기술하는 천구(天球, celestial sphere)의 중심에 있다고 할 때 팬은 경도를 변경하는 작용을 의미하며, 틸트는 위도를 변경하는 작용을 의미한다.
이와 같은 팬·틸트·줌 카메라에 접속한 야구팬은 카메라를 조정하여 야구공을 막 치려는 타자, 와인드업 하는 투수, 현란한 응원을 하는 치어리더 등을 감상하거나, 그의 관심에 따라 실제 경기장에 있는 것처럼 보고 싶은 방향의 풍경을 바라볼 수 있다.
이와 같은 팬·틸트·줌 카메라의 단점에는 높은 가격과 큰 부피 및 중량 등이 있다. 광학적 줌 기능을 가지고 있는 렌즈는 설계의 난이성과 구조의 복잡성으로 인하여 부피도 크고, 무게도 무거우며 가격도 고가이다. 또한, 팬·틸트 스테이지는 카메라에 못지않은 고가의 장치이고, 기계적으로 움직이는 만큼 고장을 일으키는 일이 빈번하다. 추가적으로 야구팬들에게 이와 같은 서비스를 제공하려고 할 때 어느 한 순간에 오직 한 사용자만 팬·틸트 카메라를 조정할 수 있으므로, 나머지 사용자는 조정 권한을 가진 사용자가 선택한 영상을 바라보아야만 하는 단점이 있다.

단점을 극복한 디지털 팬·틸트·줌 기술
이와 같은 단점은 디지털 팬·틸트·줌 기술을 사용하여 극복될 수 있다. 디지털 팬·틸트 기술은 가상 현실(Virtual Reality)의 한 세부 분야인 가상 항해(Virtual Navigation) 기술의 핵심이다. Hall 교수가 개발한 기술은 비록 수학적 오류가 존재하지만 그 본질은 최초의 영상 처리 기반의 직선수차보정 광각 카메라 기술이다. 한편, Zimmermann 등은 1992년에 ‘A video pan/tilt/magnify/rotate system with no moving parts’라는 논문을 발표하였는데, 이는 보고된 최초의 디지털 팬·틸트 기술이며, 1993년에 미국 특허 제5,185,667호로도 등록되었다. 이 특허의 출원인인 TeleRobotics International사는 NASA로부터 수탁한 2건의 계약으로 이 기술들을 개발하였다고 한다.
이 발명은 화각이 180° 이상인 어안 렌즈를 장착한 카메라를 사용하여 영상을 획득한 뒤 사용자가 조이스틱 등의 입력 장치를 사용하여 주시 방향(principal direction of vision)을 지정하면 왜곡이 없는 카메라가 그 방향을 향했을 때의 영상, 즉 직선수차보정 영상(rectilinear image)을 추출해 주는 것을 특징으로 한다. 이 발명과 선행 기술과의 차이점은 조이스틱이나 컴퓨터 마우스 등 다양한 입력 장치를 사용하여 사용자가 선택한 방향의 직선수차보정 영상을 생성해 준다는 사실이다. 이러한 기술은 가상현실(VR) 혹은 기계적인 팬·틸트·줌 카메라를 대체하려고 할 때 핵심적인 기술로서 키워드는 ‘상호적인 영상 (interactive picture)’이라고 할 수 있다. 이러한 기술에서는 물리적으로 움직이는 부분이 없으므로 시스템의 응답 속도가 빠르고 기계적 고장의 우려가 적은 장점이 있다.

또한 상기 발명에서는 어안 렌즈의 투사 방식을 이상적인 등거리 투사 방식(equi-distance projection scheme)으로 가정하고 있다. 그런데 실제 어안 렌즈의 투사 방식은 이상적인 등거리 투사 방식과 상당한 오차를 보이는 것이 보통이다. 따라서, 상기 발명은 실제 어안 렌즈의 왜곡 특성을 반영하지 못하므로 영상 처리를 한 직선수차보정 영상에서도 왜곡이 남아있게 된다.

광각 영상 보정 기술과 디지털 팬·틸트 기술의 차이
두 기술 모두 어안 렌즈로 영상을 얻은 후 왜곡이 없는 직선수차보정 영상을 얻는다는 점에서는 동일하지만, 광각 영상 보정 기술은 어안 렌즈의 광축 방향의 영상, 즉 카메라 정면의 영상을 생성하는 것이고, 디지털 팬·틸트 기술은 카메라 정면 방향이 아닌 다른 방향의 직선수차보정 영상을 생성하는 것이다.
그런데, Gullichsen 등의 특허 기술을 이용하여 어안 렌즈의 왜곡을 완전히 보정할 수 있다면, 굳이 디지털 팬·틸트 기술을 사용하지 않고, 보고 싶은 피사체가 보일만큼 충분히 넓은 화각을 갖는 직선수차보정 영상을 생성하여 보면 안될까? 이것이 불가능한 이유는 직선수차보정 투사 방식이 수학적으로 왜곡이 없는 광각 영상을 얻게 해주는 투사 방식이지, 육안으로 보기에 가장 자연스럽게 보이는 영상을 얻게 해주는 투사 방식은 아니기 때문이다.
만약, 어안 렌즈가 장착된 카메라의 정면이 아니라 측면에 둥근 농구공을 놓고 어안 영상을 찍어서 농구공이 보일만큼 화각이 넓은 직선수차보정 영상을 생성해 본다면, 농구공이 럭비공처럼 옆으로 길게 늘어진 것을 볼 수 있을 것이다. 요약하면 3차원적인 물체를 화각이 아주 넓은 직선수차보정 영상으로 보면 대단히 부자연스럽고 불편하게 보인다. 이와 같은 이유에서 카메라 정면이 아닌 측면의 물체를 보고자 할 때 화각이 아주 넓은 직선수차보정 영상보다는 디지털 팬·틸트 영상이 훨씬 만족스러울 것이다.
H. Lee Martin은 1995년에 디지털 팬·틸트 기술의 공동 발명자인 Daniel P. Kuban과 함께 가상 항해 기술에 대한 특허(US 5,384,588호)를 등록시켰다. 이에 따르면 전방위 혹은 전방향 영상을 얻는 또 다른 한 방법으로 화각이 180° 이상인 어안 렌즈를 장착한 카메라를 수평으로 향하게 하여 반구(hemisphere)의 영상을 얻은 다음, 카메라를 반대 방향으로 향하게 하여 반대쪽 반구의 영상을 얻을 수 있다. 이렇게 카메라에서 획득한 두 이미지를 소프트웨어적으로 이음으로써, 모든 방향(4π steradian)의 풍경을 포함하는 하나의 전방향 영상을 얻을 수 있다.
이렇게 획득한 이미지를 인터넷 등의 통신 매체를 이용하여 전방위 영상 시스템과 지리적으로 떨어져 있는 사용자에게 전송하면, 사용자는 사용자의 개인적인 관심에 따라서 수신한 이미지상에서 각자의 시점(viewpoint)을 선택할 수 있다. 이에 따라 사용자의 컴퓨팅 디바이스(computing device) 상에 마련된 이미지 처리 소프트웨어는 사용자에 의해 선택된 시점에 대응하는 이미지의 일부분을 추출하여 투시적으로 정확한(perspectively correct) 평면 이미지(왜곡이 없는 광각 영상)를 컴퓨팅 디바이스를 통해 제공한다. 따라서, 사용자는 이미지 처리 소프트웨어를 통해 이미지 내의 특정 장소에 실제로 있는 것처럼 고개를 돌리거나(pan), 고개를 들거나 내려서 보기도 하고(tilt), 가까이(zoom in) 혹은 멀리서 바라보는 (zoom out) 등의 선택을 할 수 있다. 이와 같은 방식은 다수의 사용자가 동일한 인터넷 사이트에 접속되어 있을 때에 사용자 각각이 수신한 이미지 내에서 원하는 방향을 바라볼 수 있는 장점이 있다. 이러한 장점은 움직임 카메라(motion camera)(예컨대, 팬·틸트 카메라)를 채용한 전방위 영상 시스템에서는 얻을 수 없다.

기계적 팬·틸트 카메라를 대체할 디지털 팬·틸트 카메라
필자가 발명자인 특허 제0898824호에는 기계적 팬·틸트 카메라와 가장 유사한 효과가 있는 디지털 팬·틸트 기술이 제시되어 있다. Gullichsen 등은 Zimmermann의 특허 기술에 어안 렌즈의 왜곡을 반영하여 개선을 하였지만, 팬·틸트를 할 때 수직선이 수직선으로 보이도록 보장하지 못하는 약점은 제거하지 못하였다.
Zimmermann 특허 기술의 약점을 없애기 위해서는 먼저 가상의 물체면(object plane)을 생성한 뒤, 물체면을 원하는 팬각(pan angle) 및 틸트각(tilt angle) 만큼 수학적으로 회전을 시키고, 회전된 물체면에 대응하는 직선수차보정 영상면을 추출하는 방식을 사용하면 된다.
직선수차보정 렌즈가 흔히 일컬어지는 왜곡이 없는 렌즈이며, 직선수차보정 렌즈의 특성은 바늘구멍 사진기(pinhole camera)의 특성과 동일하다고 간주한다. 직선수차보정 렌즈는 직선인 피사체를 항상 직선으로 포착한다. 이와 같은 직선수차보정 투사 방식의 영상을 얻기 위하여 <사진 27>에 도시한 바와 같이 세계 좌표계(World Coordinate System) 안에 가상의 물체면(object plane)과 보정 후 영상면(processed image plane), 즉 직선수차보정 영상면(rectilinear image plane)을 가정한다.

카메라의 마디점(nodal point) N은 세계 좌표계의 원점(Origin)에 고정되어 있다. 카메라의 마디점이란 카메라를 바늘구멍 사진기로 가정했을 때 바로 바늘구멍의 위치라고 생각하면 된다. 물체면과 보정 후 영상면은 서로 대칭적으로 움직이며, 이 마디점 N을 중심으로 자유로운 회전이 가능하다. 이러한 물체면과 보정 후 영상면의 개념 및 광각 렌즈의 실제 투사 방식을 고려하여 수학적으로 엄밀하게 왜곡이 없는 광각 영상, 즉 직선수차보정 영상을 얻을 수 있다.
<사진 27>에서 카메라의 마디점 N에서부터 물체면까지의 거리를 멀거나 가깝게 하면 줌인(zoom in)과 줌아웃(zoom out)의 효과를 얻을 수 있다. 한편, 디지털 팬·틸트 영상을 얻기 위해서는 <사진 27>에 보이는 물체면과 보정 후 영상면을 회전 행렬(rotation matrix)을 이용하여 팬각과 틸트각 만큼 회전시키는 작용이 선행된다. <사진 28>은 어안 영상 및 개발된 디지털 팬·틸트 기술로 얻어진 직선수차보정 영상들을 보여주며, 직선이 직선으로 포착되었음을 알 수 있다.

<사진 30>은 3차원 회전의 비호환성을 보여준다. <사진 30> (A)에서는 3차원 물체를 수직 방향의 화살표를 중심으로 90° 돌린 후(Pan), 다시 수평 방향의 화살표를 중심으로 90° 돌린(Tilt) 물체의 상태를 보여주며, (B)는 단지 순서만을 바꾼 것인데, 3차원 물체의 상태가 전혀 다른 것을 알 수 있다. 즉, 3차원 회전에서는 회전각뿐만 아니라 그 순서도 매우 중요하다.
따라서, 팬 작용 후에 틸트 작용을 한 영상과 틸트 작용 후에 팬 작용을 한 영상은 전혀 다르며, 알고리즘도 당연히 다르다. 그러므로, 디지털 팬·틸트를 한 후에도 수직선이 수직선으로 보이게 하기 위해서는 두 알고리즘 중 하나를 잘 선택하여야 하는데, 그 선택 기준은 어안 렌즈를 장착한 카메라가 기울어진 방향이다.
이와 같은 디지털 팬·틸트 카메라는 기계적 팬·틸트 카메라를 상당 부분 대체할 것이다. 그런데, 디지털 팬·틸트 카메라가 기계적 팬·틸트 카메라에 비하여 작고 가벼우며, 저비용으로 생산할 수 있고, 움직이는 부분이 없으므로 고장도 적다는 점 이외에 장점과 단점은 무엇이 있을까?
가장 큰 단점으로는 기계적 팬·틸트 카메라에 비하여 직선수차보정 영상의 해상도가 작을 수밖에 없다는 점이다. 디지털 팬·틸트 카메라는 어안 영상에서 일부분을 추출하여 왜곡이 없는 영상을 추출하는 것이므로, 동일한 사양의 이미지 센서를 사용한다면 디지털 팬·틸트 카메라의 해상도가 당연히 더 작을 수밖에 없다.
한편, 장점으로는 크게 두 가지를 들 수 있는데, 첫 번째는 하나의 어안 영상에서 둘 이상의 직선수차보정 영상을 동시에 추출할 수 있으므로, 추적하고자 하는 피사체가 하나 이상일 경우에 디지털 팬·틸트 카메라가 훨씬 유리하다는 것이다. 반면에, 기계식 팬·틸트 카메라는 가장 중요한 피사체를 추적하기 위하여 덜 중요한 피사체들은 포기할 수밖에 없을 것이다.
또 다른 장점으로는 사후적으로 팬·틸트를 하는 것이 가능하다는 것이다. 요즘은 경비원이 CCTV 영상을 지켜보고 있지 않으므로, 사고가 일어나고 몇 시간이나 며칠이 지나서 저장된 영상을 돌려보는 것이 일반적이다. CCTV 영상은 하드디스크에 저장하는데, 통상 한 달 치를 저장한다. 그러므로 원본 어안 영상이 하드디스크에 저장되어 있다면, 사건이 일어난 시점의 영상을 찾아서 그때 침입자의 동선을 따라서 디지털 팬·틸트 영상을 생성하여 볼 수 있다. 반면에 기계식 팬·틸트 카메라의 경우에는 사건이 일어나는 것과 동시에 추적을 하지 않았다면 침입자의 영상을 포착할 기회는 다시 오지 않을 것이다.

자동차용 카메라에 필수적인 디지털 팬·틸트·줌·슬라이드 기술

카메라 경통이 주름 상자(bellows)로 되어 있는 대형 카메라(large format camera)는 렌즈와 사진 건판(寫眞乾板, photographicplate)을 따로 움직일 수 있는 것이 특징이다. <사진 31>은 전형적인 대형 카메라의 모습을 보여준다.
사진 건판을 따로 움직이는 이유는 사진 촬영 단계에서 다양한 보정을 하는 것이 가능하기 때문이다. 예를 들어 지상에서 63 빌딩을 찍고자 한다면 사진 프레임 내에 빌딩 전체를 넣기 위하여 위로 올려다보는 방향으로 찍을 수밖에 없고, 이 경우 실제로는 평행선에 가까운 수직선들이 소실점(消失點, vanishing point)으로 수렴하듯이 보이게 된다(Keystone effect). 그런데, 렌즈에 대하여 사진 건판을 기울이면 이 수렴 현상을 완화할 수 있으며, 전체적으로좀 더 초점이 잘 맞도록 할 수 있다.
대형 카메라에서 사용할 수 있는 효과로는 Rise, Fall, Shift, Tilt, Swing 등이 있다. Rise, Fall과 Shift는 사진 건판을 수직으로 올리고(Rise), 내리거나(Fall), 좌우로 움직이는(Shift) 이동을 지칭한다. <사진 32>는 Rise/Fall의 효과를 예시하는 그림이다.
요즘은 대형 카메라가 아닌 DSLR 카메라에서도 이런 효과를 구현할 수 있는 렌즈들이 출시되고 있다. 예를 들어 Nikon 24㎜ PC-E는 Nikon D3 전용의 tilt-shift 렌즈인데, 여기서 PC는 투시 조절(perspective control)을, E는 전자 조리개(electronic diaphragm)를 의미한다고 한다.

전 세계 자동차 메이커들은 연비 개선을 위해 사이드 미러 대신에 카메라를 장착하는 방식으로 기술 개발을 하고 있으며, 차량에서 사이드 미러를 제거하면 연비가 약 2% 정도 증가한다고 한다. 최근에는 한국에서도 차량에서 사이드 미러 제거를 허용하는 법률까지 통과되어 전 세계가 이 방향으로 가고 있음은 분명하다. 그런데, 기존의 사이드 미러와 같이 후미의 영상만을 보여주는 카메라를 사용하는 대신에 <사진 37>에 도시한 바와 같은 영상 처리 기반의 디지털 팬·틸트·줌·슬라이드 카메라를 사용한다면, 차체에서 가장 적게 돌출하여 최소한의 공기 저항을 유발하는 자동차를 만들 수 있을 뿐만 아니라, 보안 목적이나 주차 시 차선 확인 목적으로도 큰 도움이 될 것이 분명하다.

자료제공 | (주)나노포토닉스(www.pCAM.kr)