스마트 카메라 기술동향 [2]

1990년 후반 이후 스마트 카메라가 널리 대중화되면서 비디오 감시(Video Surveillance) 분야와 머신 비전(Machine Vision) 분야에서 스마트 카메라가 사용되기 시작했다. 스마트 카메라는 단순히 영상정보를 획득하고 획득한 영상정보를 저장하는 기존의 카메라 기능에서 벗어나 미리 정해진 여러 가지 필요한 작업을 수행하는 비전시스템으로 정의할 수 있다. 특히 최근 들어 마이크로프로세서의 기능이 확대되면서 카메라 내부에서 지능형 영상처리나 패턴인식 알고리즘을 수행할 수 있게 되었으며, 이러한 기술을 이용해서 스마트 카메라는 움직임 감지, 오브젝트 측정, 차량 번호판 인식뿐만 아니라 인간의 행동까지도 인식할 수 있게 되었다.


<<<< 목 차>>>>

Ⅰ. 서론
Ⅱ. 스마트 카메라
Ⅲ. 스마트 카메라 기술동향
Ⅳ. 결론

Ⅲ. 스마트 카메라 기술동향

1990년대 이후 스마트 카메라에 대한 인기가 지속적으로 높아지고 있으며 시장에서의 요구도 증가하고 있다. 저렴한 PC·아날로그 CCTV 카메라·비디오 프레임 등을 이용할 수 있게 됨에 따라 연구나 개발에 종사하는 사람들은 이들 디바이스와 컴포넌트에 컴퓨터 비전 방식과 기술을 개발하고 시험하여 적용한 스마트 카메라 개발 플랫폼을 손쉽게 확보할 수 있게 되었다. 스마트 카메라가 기술적으로나 시장에서 최근에 성장할 수 있었던 기술 외적인 사항을 살펴보면 다음과 같이 정리할 수 있다.

●VLSI 기술과 임베디드 시스템 기술의 발전: 무어의 법칙에 따르면 이미지 센서와 마이크로프로세서의 성능은 지속적으로 개선되며 크기와 가격은 계속 떨어지게 될 것이다. 임베디드 시스템을 특수한 목적의 애플리케이션에 적용하려고 하는 경우에라도 임베디드 시스템을 설계하는 기술은 날이 갈수록 발전하고 있다.

●(임베디드)컴퓨터 비전 분야의 발전: 인텔에서 제공하는 OpenCV 라이브러리와 같은 컴퓨터 비전분야의 공개 프로그램은 광범위한 분야에서 스마트 카메라의 개발을 지원하며, 현장에서 활용되고 있다.

● 산업계나 학계의 관심 고조: 컴퓨터 비전과 비디오 감시 분야에서는 스마트 카메라·임베디드 컴퓨터 비전·영상 감시시스템에 관한 다양한 워크숍이나 학술대회 등이 개최되고 있다.

● 안전 및 보안에 관한 사회적인 관심 증가: 9.11사태 이후 비디오 감시 분야에서 스마트 감시시스템을 포함한 영상 감시시스템에 대하여 산업계나 정부의 관심이 점점 높아지고 있으며, 관련 연구도 증가하고 있다.

1. 대표적인 스마트 카메라 연구사례

여기에서는 그동안 발표된 스마트 카메라와 관련한 대표적인 사례들을 시스템의 특징 위주로 간략하게 살펴본다.
NXP 연구그룹(이전 Philips)의 WiCa 카메라 시스템(그림 6)에는 하나 또는 두 개의 VGA(300kpixel) 컬러 이미지 센서가 장착되었으며 Xetal 그룹의 IC3D SIMD 프로세서에 연결되어 있다. 통신 인터페이스는 저전력 지그비(ZigBee) 모듈로 구성되었으며 시스템 동작과 통신을 관리하기 위해 ATMEL 8051 컨트롤러를 사용하였다. IC3D 디바이스는 320개의 프로세스 요소를 갖고 있는 LPA와 3200비트의 64라인 메모리로 구성되어 있다. 이러한 구조는 각 픽셀에 대해 동일한 동작을 수행하는 하위-레벨의 이미지를 처리하는데 강력한 특성을 지닌다. 예를 들어 QVGA 이미지(320×240)를 다루려고 할 때에 각 라인 메모리에 행(Row) 전체의 내용을 저장할 수 있어 LPA에서 각 PE마다 1픽셀을 할당하여 동시에 처리할 수 있다.

스탠포드 대학의 MeshEye 무선구조(그림 7)는 다수의 센서를 이용한 혼합 해상도(Hybrid Resolution) 방식을 채택하고 있는 장치로,CMOS VGA 컬러 이미지 센서와 광학마우스에서처럼 두 개 이상의 센서를 사용하여 초기 대표적인 능동 비전방식의 데이터 획득 과정을 최적화하였다. 예를 들어 저해상도 센서 하나를 모션감지 전용으로 사용하고 이 센서에서 움직이는 오브젝트를 탐지하면 두 번째 저해상도 센서에서는 스테레오 매칭 작업을 수행하여 움직이는 오브젝트의 위치와 크기를 예측한다. 최종적으로는 오브젝트를 포함하고 있는 영역(WOI) 정보를 VGA 센서가 획득할 수 있다. 마이크로 컨트롤러와 연동을 고려하여 ARM7TDMI 프로세서와 ZigBee 인터페이스를 사용하였다.

Bourgogne 대학 Le2i 연구실에서는 고속 스마트 카메라(그림 8)를 개발했다. 이 제품은 1.3Mpixel 고속 CMOS 이미지 센서와 XILINX의 Virtex-Ⅱ FPGA, USB 2.0 인터페이스를 포함하고 있다. 이미지 센서에서는 최대 해상도 이미지를 500fps까지 수집할 수 있으며 데이터를 6.55Gbps까지의 속도로 처리할 수 있다. USB 2.0 링크(480Mbps)를 통해 비디오 정보를 전송하기 위해 FPGA에 영상압축(압축비율 30:1)과 Sobel 필터와 같은 이미지 프로세스 작업, 수축/팽창(Erosion/Dilation) 작업 및 마커(Marker) 추출을 위한 작업들을 구현하였다.

SeeMOS 구조(그림 9)는 프랑스 LASMEA에서 제안한 구조이다. 이는 초기 비전 알고리즘을 사용하는 애플리케이션에 적합한 플랫폼으로 제작된 스마트 카메라이다. 4Mpixel의 CMOS 흑백 이미지 센서, Firewire 인터페이스와 프로세서 모듈로 ALTERA Statix FPGA 디바이스와 TI의 TMS320C6455 DSP로 구성되어 있다.

FPGA 디바이스는 사용자가 프로그램 가능한 컨트롤러 코어를 통해 전체 시스템을 제어하고 동기화하는 일을 담당하고 있으며, 다른 애플리케이션에서 사용하고자 할 경우에 HDL 프로그램만 수정하여 사용하는 방식을 택하였다. 데이터 처리는 FPGA 내에 구현된 SIMD 유닛에서 직접 수행하거나, DSP를 이용한 소프트웨어 루틴을 통해 수행한다.

그 밖에 흥미로운 스마트 카메라 관련 연구과제로 Carnegie Mellon 대학의 CMUCam 프로젝트와 Graz 공대의 SmartCam 프로젝트가 있다.

CMUCam 프로젝트는 지금까지 3번에 걸쳐 수정된 카메라 플랫폼을 발표하였다. 2002년에 처음으로 발표된 플랫폼은 CMOS 센서와 Ubicom사의 SX28 마이크로 컨트롤러 및 레벨 시프트와 시리얼 통신으로 구성되는 3개의 주요 상용 칩들을 사용하여 100달러 미만의 저가로 사용 가능한 임베디드 비전 플랫폼의 제작을 목표로 하였다. 2005년에는 성능 향상을 위하여 FIFO로 구성된 348kbyte의 이미지 프레임 버퍼와 Ubicom사의 SX52 마이크로 컨트롤러를 사용하여 199달러 미만인 두 번째 플랫폼을 발표하였다.

2007년에는 오픈 소스 프로그램이 가능한 임베디드 컬러 비전 플랫폼으로써 CMUCam3를 발표하였다(그림 10). CMUCam3는 CIF 해상도의 컬러 이미지 센서(352×288)와 ARM7TDMI 코어를 이용한 프로세서 기능을 제공한다. 또한 아날로그 비디오 출력신호를 이용할 수 있으며 ZigBee 무선통신 모듈과 통합시킬 수 있다. 현재 CMUcam3 플랫폼은 오픈 소스 개발환경의 기본 이미지조작 라이브러리와 같은 소프트웨어 유틸리티 및 시제품 형태의 도구 등을 포함하고 있는 상용 시스템으로서 240달러 정도 가격으로 판매되고 있다. 또한 다양한 응용을 개발하는 개발 플랫폼으로 널리 사용되고 있다.

SmartCam 플랫폼(그림 11)은 터널 내부의 안전을 위하여 차량의 검출과 추적을 위하여 개발된 플랫폼으로 상용 모듈을 이용하여 저전력 및 고성능을 자랑하는 임베디드 비전시스템이다. 이를 위하여 TI에서는 2개의 TMS320C6415 DSP 프로세서와 CMOS VGA 이미지 센서가 PCI 버스로 연결된 SmartCam 프로젝트용 플랫폼을 개발하였다. 또한 임베디드 네트워크 프로세서(Intel IXP425)를 사용하여 이더넷, USB·RS232·WLAN·GSM 등과 같이 다양한 통신 시스템을 이용할 수 있으므로 분산 감시시스템에서도 활용할 수 있다.

최근에는 기존의 감시 기능을 제공하는 스마트 카메라의 기능에 하드웨어에 기반한 보안 기능을 제공하는 TPM 장치를 적용하여 스마트 카메라에서 전송되는 이미지나 검출 데이터의 진위 여부나 무결성을 판단할 수 있는 TrustCam 플랫폼이 개발되었다(그림 12).

TrustCam은 기존의 CMOS 센서와 마이크로프로세서 및 통신인터페이스를 제공하는 플랫폼에 TPM을 효율적으로 활용하기 위하여 I2C 인터페이스를 활용하였다. TrustCam에서는 기존 플랫폼과 달리 전송 데이터의 암호연산을 위해 256비트의 AES 암호 알고리즘을 사용하며, 서명에는 SHA-1 알고리즘을 사용하고 있다.

표 1은 지금까지 설명한 스마트 카메라를 포함하여 대표적인 스마트 카메라 플랫폼을 정리한 것이다. 현재 전세계적으로 수많은 업체 및 기관에서 스마트 카메라를 개발하고 있다. 보다 많은 제조업체나 스마트 카메라 정보는 웹 사이트(www.smartcamera.it/links.htm)에서 살펴 볼 수 있다.

2. 대표적인 스마트 카메라 애플리케이션

스마트 카메라는 광범위한 애플리케이션 영역을 갖고 있으며 우리의 일상적 활동과도 관련이 있다. 앞에서 설명했던 바와 같이 스마트 카메라의 핵심은 인식 기능, 이미지 처리 기능 및 상호연동을 위한 통신 프로토콜을 효율적으로 통합하는 데에 있다. 스마트 카메라의 특징을 이와 같이 정의한다는 것은 스마트 카메라가 고급 기능을 수행하는 이미지 센서로서 다음과 같은 대표적인 응용들에서 중요한 역할을 수행함을 의미한다.

㉮ 보안

최근 공항이나 정류장, 은행처럼 대중 공공시설에서 보안을 제공하는 용도로 비디오 감시시스템의 활용이 점점 증가하고 있다. 기존에 사용하던 비디오 감시시스템이 갖고 있는 근본적인 문제점은 아래와 같이 정보의 분석과 판단에서 상당 부분을 사람에 의존한다는 사실이다.

● CCTV를 설치하는데 소요되는 비용이 저렴해진다고 하더라도 사람이 비디오 화면을 모니터링하므로 추가 비용이 발생한다. 또한 사람을 통한 모니터링은 작업이 따분하고 일정시간이 지나면 주의가 산만해지므로 중요한 사건의 발생을 놓칠 수도 있다. 그림 13에서 볼 수 있듯이 일반적으로 사람이 2개 이상의 화면을 모니터링 하는 경우 12분이 지나면 위험 상황의 45%를 22분이 지나면 위험 상황의 95%를 놓친다고 알려져 있다.

● 사람에 의해 영상을 관찰하고 기록하는 과정에서 개인 데이터(생체 데이터)를 이용하는 일이 발생하는 경우 혹은 보호 사적인 구역이나 제한구역을 관찰하는 일과 같이 민감한 정보를 사용하는 경우에는 윤리적인 문제가 제기될 수 있다. 이러한 경우에 기존의 CCTV 대신 스마트 카메라를 사용하게 되면 데이터를 처리하는 과정에서 효율성과 보안을 함께 제공할 수 있게 된다.

㉯ 자동화

최근 세계적으로 도시속 거리·교차로 및 고속도로에는 영상감시시스템을 활용하여 모니터하고 있다. 이러한 시스템은 일반적으로 다음과 같은 용도로 활용되고 있다.

● 교통량을 통제하고 최적화하기 위해 차량의 흐름을 예측한다.

● 잘못된 방향으로 진입하는 차량이나 사고와 같은 위험한 상황을 탐지한다.

● 보호된 영역이나 금지된 구역(예를 들면, 주차장 또는 런던 같은 도시의 중심부)으로 특정 차량이 접근하는 것을 컨트롤한다. 이러한 용도로 일부 스마트 카메라가 개발되어 사용되고 있으며 고성능 스마트 카메라를 사용하는 경우 이러한 문제들을 신속하게 자동적으로 탐지할 수 있다.

㉰ 사람-컴퓨터 상호동작

사람-컴퓨터 상호동작 분야에서 스마트 카메라를 사용하게 되면서 대화형 시스템(Interactive Dialogue System)에 스마트 카메라를 활용할 수 있을 것이다. 특히 제스처를 기반으로 하는 인식 알고리즘이 구현된 스마트 카메라는 원격제어기능과 상호동작을 가능하게 한다. 현재 MIT를 비롯한 학교와 연구 기관에서 관련 연구가 진행되고 있다.

㉱ 이동장치

최근 스마트폰은 디지털 카메라 기능과 디지털 비디오 녹화 기능 및 화상통화 기능 등을 일반적으로 제공하고 있다. 이와 같이 멀티프로세서를 내장한 이동장치(Mobile Device)에서는 화상회의를 위한 얼굴추적 혹은 액세스 제어를 위한 얼굴인식 등과 같은 비전 알고리즘을 적용할 수 있다.

3. 스마트 카메라의 발전방향

스마트 카메라와 관련된 기술이 급격히 발전하고 애플리케이션도 다양해지면서 사용자의 요구 사항 역시 다양하게 변화하고 있다. 따라서 스마트 카메라의 향후 발전방향을 예상하기에는 어려움이 있다. 앞에서도 살펴보았듯이 스마트 카메라의 주요 특징과 장점은 통합과 지능화에 있다. 이처럼 통합과 지능화를 가능하게 하는 주요 요인으로는 임베디드 프로세서의 성능과 실제 환경에서 돌아갈 수 있는 비전 알고리즘의 신뢰도에 있다. 최근 사용되는 64비트 프로세스와 멀티코어 프로세서는 시스템 기능을 현저하게 개선시키고 있다. 여기에서는 이러한 기술적 측면과 응용 측면을 중심으로 향후 스마트 카메라의 발전방향을 정리한다.

㉮ 기술적 측면

스마트 카메라에 관한 기술적 요소는 주로 전자공학 분야(이미지 기술), 컴퓨터공학 분야(임베디드 시스템), 컴퓨터 비전 분야와 관련이 있다. 현재 연구가 진행되고 있는 분야를 기반으로 하면 다음의 기술들이 스마트 카메라의 발전에 영향을 줄 것으로 보인다.

● 시스템 온 칩(SoC) 기술: 마이크로 전자 분야에서 관심사항 중의 하나는 칩 위에 컴퓨팅-지능화 기능을 통합시켜 시스템의 각종 기능을 개선하는 일이다. 비전 센서 칩은 이미지를 획득하는 일을 담당할 뿐만 아니라 컴퓨터 비전 알고리즘을 실장해서 PC나 임베디드 컴퓨팅 기능의 도움을 받지 않고도 칩 위에서 아날로그 신호나 디지털 신호를 직접 처리할 수 있게 한다. 이러한 SoC 기술의 발달로 스마트 카메라의 가격은 더욱 낮아지고 파워 소모량도 적어져 비전 센서 기술과의 효율적인 통합이 가능할 것으로 예측된다.

● 컴퓨터 비전 및 이미지 기술: 컴퓨터 비전은 컴퓨터 알고리즘을 이용해서 사람이 물체를 인식하고 이해 및 추리 등을 수행하는 과정과 동일한 기능을 수행하는 것을 목표로 하고 있다. 컴퓨터를 이용해 사람의 눈과 머리에서 처리하는 기능을 구현하는 것은 너무 복잡한 일이다. 때문에 아직도 많은 부분이 연구를 지속할 필요가 있는 공개 분야로 남겨져 있으며 현재에도 다양한 연구가 진행되고 있다. 향후 컴퓨터 비전 분야에서의 연구 결과들은 스마트 카메라의 획기적인 발전을 가져올 것으로 기대된다.

● 네트워크 카메라: 스마트 카메라는 점점 더 작아지고 저렴해지면서 더욱 다양한 애플리케이션에 적용될 것이다. 메모리 디바이스는 점점 저렴해지는 반면 메모리 용량 및 성능은 빠르게 증가하고 있다. 이러한 기술동향은 유비쿼터스 컴퓨팅, 분산 컴퓨팅과 같은 분야에서 스마트 카메라를 활용하는 연구를 가능하게 하고 있다. 향후 이러한 연구결과를 이용하면 스마트 카메라의 지능화와 성능이 크게 개선될 것으로 예상된다.

● 센서융합 기술: 센서융합은 동일 유형이든 동일하지 않은 유형이든 하나 이상의 센서에서 오는 정보를 결합해 데이터를 분석한다. 일반적으로 한 센서의 장점이 다른 센서의 단점을 보상할 수 있거나 오브젝트를 인식할 수 있는 속도를 개선할 수 있어 여러 종류의 센서를 결합한 시스템이 신뢰도와 유용성을 개선할 수 있다. 따라서 센서융합은 매우 효율적이면서 실용적인 방법으로 스마트 카메라의 수많은 응용분야를 창출할 것으로 기대된다.

㉯ 애플리케이션 측면

스마트 카메라의 성능과 메모리 용량 증가 및 지속적인 가격 감소는 그동안 적용할 수 없었던 다양한 분야에 스마트 카메라를 활용할 수 있는 계기를 마련하였다.

● 멀티미디어: 스마트 카메라는 이미지 획득뿐만 아니라 생체인식·개인식별·추적과 같은 기능들을 통합하고 있다. 이러한 스마트 카메라가 이용될 주요 분야로는 스마트폰 카메라 및 PC 카메라 등이 있다.
그 이외에도 오브젝트 인식·검색·보관 등에서 스마트 카메라를 이용하는 애플리케이션을 생각해 볼 수 있다. 특히 스마트폰 분야는 앞으로 다양한 응용에 스마트 카메라 기술을 사용할 것으로 예상된다.

● 머신 비전: 산업계에서 생산 자동화에 따른 비전 분야의 기술적 요구가 늘어남에 따라 스마트 카메라 애플리케이션은 품질보증 및 검수 등 머신 비전 업무에 많이 활용되고 있다. 최근 머신 비전 분야에서의 경험과 기술적인 성공에 힘입어 많은 스마트 카메라 제조업자들은 애플리케이션 영역을 접근제어·문서처리·교통공학·소매물류 등으로 확대하고 있다.

● 감시 및 보안: 최근 공공장소나 제한구역, 비밀구역 또는 산업영역의 자율적인 감시시스템 분야에 스마트 카메라를 많이 이용하고 있다. 스마트 카메라를 이용한 객체 탐지 및 인식 그리고 객체 추적 등은 기존에 사람이 24시간 감시와 실시간 탐지가 어려운 사건·사고 발생의 탐지·중요 시설에 대한 침입 탐지 등의 업무에 효율성을 제공한다. 또한 자율교통시스템(ITS) 분야는 최근 스마트 카메라를 차량 인식과 번호판 인식 등의 분야에 주로 사용하고 있다.

● 자동차 분야: 스마트 카메라를 이용하면 운전자가 인식할 수 있는 환경보다 넓고 빠르게 인식할 수 있고, 자동적인 상황 판단으로 사람의 주관적 판단을 배제할 수 있다. 따라서 차량 분야에 스마트 카메라 기술을 적용하는 연구가 다양하게 진행되고 있다. 최근 BMW를 비롯한 일부 차종에서 모니터링 및 탐색 기능을 위해 스마트 카메라를 사용한 내용이 발표된 바 있다.

4. 스마트 카메라의 시장평가

최근 학계 및 업계에서는 스마트 카메라에 대한 학계의 연구가 다양하게 진행되고 있으며, 일부 산업 분야에서는 성공적으로 활용되고 있다. 스마트 카메라 산업은 지난 십여 년간 연평균 13%의 성장률을 보였다.
앞에서 거론했던 기술적인 문제들이 개선되면 더욱 다양한 애플리케이션에 스마트 카메라가 활용될 수 있어 스마트 카메라 시장 규모는 앞으로도 계속 증가할 것으로 예상된다.
현재 예상되는 일반적인 스마트 카메라 시장은 자동차 및 생산 분야 그리고 보안 및 군사 분야에서 찾을 수 있다. 그러나 향후 추가로 예상되는 시장은 여러가지 형태의 사람-컴퓨터 상호작용 분야, 장난감·비디오게임 분야, 비디오 교육 분야, 노인의료보장 분야, 건강관리 분야에 이르기까지 광범위하게 찾을 수 있다.

Ⅳ. 결론

1990년 후반 이후 비디오 감시 분야와 머신 비전분야 산업을 중심으로 사용되기 시작한 스마트 카메라는 단순히 영상정보를 획득하고 획득한 영상정보를 저장하는 카메라 기능에서 벗어나 미리 정해진 여러 가지 필요한 작업을 수행하는 비전시스템이다. 최근 들어 스마트 카메라에 적용할 수 있는 마이크로프로세서의 기능이 확대되면서 카메라 내부에서 지능형 영상처리나 패턴인식 알고리즘을 수행할 수 있게 되었으며 이러한 기술을 이용해서 스마트 카메라는 아직까지는 제한적이지만 움직임 감지·오브젝트 측정·차량 번호판 인식뿐만 아니라 인간의 행동까지도 인식할 수 있게 되었다.

이러한 스마트 카메라의 기술적인 정의와 특징들을 살펴보고 스마트 카메라의 최근 기술동향들을 살펴보았다. 또한 기술적인 측면과 예상되는 애플리케이션을 중심으로 향후 스마트 카메라의 발전 방향을 정리하였다. 이미 해외에서는 상당수의 연구그룹과 산업체에서 스마트 카메라 기술을 개발하였고 일부는 상용화 단계에 진입하였다. 그러나 국내에서는 아직도 기존의 CCTV나 IP 카메라에 제한적인 리소스를 활용하여 스마트 카메라의 일부 기능만 제공하거나 핵심 기능들만 연구소나 대학 연구실에서 개발되고 있는 실정이다.

따라서 앞으로 다가올 다양한 응용들과 잠재적 시장의 요구에 대응하기 위하여 스마트 카메라 시스템의 체계적인 연구와 핵심 기술들의 개발이 필요하다.

글 |김무섭(M.S. Kim) ETRI 융합서비스보안연구팀 선임연구원  한종욱 (J.W. Han) ETRI 융합서비스보안연구팀 팀장