스마트 카메라 기술동향 (1)
1990년 후반 이후, 스마트 카메라가 널리 대중화되면서 비디오 감시(Video Surveillance) 분야와 머신 비전(Machine Vision) 분야의 산업에서 스마트 카메라가 사용되기 시작했다. 스마트 카메라는 단순히 영상정보를 획득하고 획득한 영상정보를 저장하는 기존의 카메라 기능에서 벗어나, 미리 정해진 여러 가지 필요한 작업을 수행하는 비전시스템으로 정의할 수 있다. 특히 최근 들어 마이크로프로세서의 기능이 확대되면서 카메라 내부에서 지능형 영상처리나 패턴인식 알고리즘을 수행할 수 있게 되었으며, 이러한 기술을 이용해서 스마트 카메라는 움직임 감지, 오브젝트 측정, 차량의 번호판 인식뿐만 아니라 인간의 행동까지도 인식할 수 있게 되었다.
목 차
I. 서론
Ⅱ. 스마트 카메라
Ⅲ. 스마트 카메라 기술동향
Ⅳ. 결론
오늘날 스마트 카메라는 빌딩관리나 빌딩제어 분야 애플리케이션의 핵심 디바이스가 되었으며, 향후에는 우리 주변 곳곳에 스며들어 주변환경에 따라 지능적으로 대처할 수 있는 유비쿼터스 환경의 핵심 기술로 자리매김하게 될 것이다. 이 글에서는 스마트 카메라의 기술적인 정의와 특징을 살펴본 후에 스마트 카메라의 기술적인 동향들을 살펴볼 것이다.
Ⅰ. 서론
시각·후각·미각·청각·촉각 및 감각 등 인간의 6가지 주요 기능 중에서 시각(Vision) 분야는 가장 짧은 시간에 가장 많은 정보를 받아들인다. 스마트 카메라의 궁극적인 목표는 인간의 눈과 두뇌의 기능을 모방하여 카메라를 통해 획득한 정보를 인공지능 기능을 사용해서 해석하는데 있다. 그러나 시각 장치를 통해 들어온 방대한 정보를 사람과 같이 정확히 이해하고 판단하려면, 엄청난 양의 컴퓨팅 파워를 필요로 할 뿐만 아니라 계산된 정보를 믿을 수 있게 처리해야 하기 때문에 현재도 스마트 카메라와 관련하여 많은 연구가 진행되고 있다.
1990년대 이후, 스마트 카메라 분야는 전세계적으로 주요 연구그룹이나 대학, 특히 비디오 감시시스템에 종사하는 산업계, 생산업체 등에서 관심을 갖고 연구를 진행하고 있다. 이는 스마트 카메라가 일반 카메라에 비해 단지 영상을 획득하는 일을 처리할 뿐 아니라 한 시스템 내에서 영상을 분석하고 이벤트나 패턴을 인식하는 일까지 함께 수행하므로 기존 카메라와 달리 다양한 응용에 적용할 수 있기 때문이다.
안전이나 보안과 같은 사회 경제적인 요구와 함께 반도체 기술의 발전에 따른 임베디드 프로세서의 성능 향상과 대용량 메모리의 가격 하락은 컴퓨터 비전 기술의 개선과 관련 제품에 대한 생산성 향상과 비용절감의 효과를 가져오게 되었다. 이러한 기술적 변화에 따라, 최근 스마트 카메라는 다양한 분야에 응용되고 있으며, 특히 비디오 감시 분야, 산업계의 머신 비전 분야, 로봇 분야, 게임 및 장난감 분야 및 컴퓨터 인터페이스 분야 등에서 활용이 확대되고 있다.
Ⅱ. 스마트 카메라
스마트 카메라가 최초로 상용화 된 시점은 1980년대로 거슬러 올라간다. 초기 스마트 카메라의 센스 기능과 데이터 처리 기능은 제한되어 있었다. 물론 이들의 애플리케이션 분야도 매우 제한적이어서 대부분 머신 비전과 관련된 단순한 작업들을 수행하는 데 그쳤다. 그러나 최근에는 스마트 카메라의 처리능력이 개선되어 일부 산업계 분야의 애플리케이션에서 성공적으로 이용되고 있으며, 대학과 산업계에서 스마트 카메라에 관한 연구가 많이 이루어지고 있다.
1. 스마트 카메라의 정의
스마트 카메라는 영상정보를 획득하는 기능만을 갖고 있는 것이 아니라, 영상에 나타난 의미를 찾고 경우에 따라서는 카메라 사용자를 위한 일련의 작업까지도 수행하는 카메라를 말한다. 미디어나 인터넷 또는 카메라 제조업자나 개발자들이 스마트 카메라에 대하여 다양한 정의를 내리고 있지만 스마트 카메라의 명확한 정의로 보기는 어렵다.
스마트 카메라의 정의에 있어 대부분의 경우 스마트 카메라가 이미지 처리 기능을 갖고 있다는 것을 강조하고 있다. 그러나 그림 1에서 볼 수 있듯이, 디지털 카메라나 소비자용 카메라, 산업용 카메라에도 모두 이미지 처리 기능을 갖고 있다. 때문에 이러한 정의는 정확한 기술적인 표현으로 볼 수 없다.
스마트 카메라와 다른 카메라를 구분하는 가장 정확한 방법은 카메라에 내장된 프로세서가 어떤 작업을 수행하며, 스마트 카메라의 출력이 어떤 값을 가지는가를 기준으로 해야 한다. 따라서 이러한 기준을 기반으로 스마트 카메라를 정의하면, 그림 2 같이, 입력되는 이미지로부터 특정한 이벤트를 검출하거나 지능형 시스템이나 자동화 시스템에서 사용할 수 있는 의사결정 정보의 생성 또는 애플리케이션에 적용할 수 있는 정보를 추출할 수 있는 ‘임베디드 비전시스템’이다. 특정 이벤트의 검출 혹은 의사결정을 위한 정보를 생성하는 임베디드 비전시스템으로서의 스마트 카메라가 내포하는 의미는 다음과 같이 세분화해서 분석해 볼 수 있다.
- 비전시스템: 카메라가 사물을 보는 기능을 갖고 있거나 영상정보를 획득하는 기능을 갖고 있음을 뜻한다. 일반적으로 ‘비전’의 영역은 가시광선 영역으로만 제한되지 않고, 적외선(Infrared)과 열 영상(Thermal Imaging)과 같은 스펙트럼 영역의 빛도 포함한다. ‘시스템’이란, 엄격히 말하자면 카메라를 구성하는 모든 부품이 물리적으로 단일 카메라 케이스 내부에 실장되어 있는 경우뿐만 아니라 카메라 기능을 제공하는 모듈들로 구성된 시스템까지 포괄적으로 의미한다.
-임베디드: 카메라에 마이크로프로세서와 메모리·전원 및 통신용 인터페이스와 같은 모든 부품들이 포함되어 있다. 스마트 카메라는 임베디드 시스템이므로 독자적이고 주어진 환경에서 자율적으로 동작할 수 있다.
-특정 이벤트의 검출 또는 의사결정 정보의 생성: 일반적인 카메라와 달리 스마트 카메라의 주된 기능은 사람들이 볼 수 있는 이미지나 비디오 영상의 품질을 개선하는데 있는 것이 아니라 사전에 정의해 둔 특정 이벤트가 일어났는지의 여부를 탐지하고 그 이벤트에 대하여 미리 정해진 대응과정을 수행하는 데 있다.
위의 분석을 통해 이미지를 처리할 수 있는 프로세서가 내장되어 있는지 여부가 스마트 카메라가 되기 위한 조건이 아니라 내장되어 있는 프로세서의 사용 목적이 무엇인가에 따라 스마트 카메라의 여부가 결정된다는 사실이 명확해졌다.
2. 스마트 카메라의 구성
스마트 카메라의 구조를 기능별로 구분하면 그림 3에서와 같이 크게 센서 부문(Sensor Unit), 데이터 처리 부문(Processing Unit) 그리고 인터페이스 부문(Communication Unit)으로 나누어진다.
쪾센서 부문: 입력되는 빛을 효율적으로 포착하기 위한 렌즈와 반도체 이미지 센서 및 빛을 디지털 데이터로 변환해주는 이미지 어레이로 구성된다.
-데이터 처리 부문: 데이터 처리 부문은 스마트 카메라에서 가장 핵심적인 부분으로 보통 애플리케이션 지향 정보처리(ASIP) 부문으로 알려져 있다. ASIP는 사람이 볼 수 있는 이미지나 프린트 출력의 품질을 개선하는 데 있는 것이 아니라 지능형 컨트롤 시스템에서 의사결정을 더 잘할 수 있도록 이미지에서 어떤 일이 일어나는지를 자율적으로 탐지해내고 이를 통보하거나 미리 정해진 조치를 수행할 수 있도록 한다.
-인터페이스 부문: 사용자나 호스트 시스템으로부터 커맨드나 명령코드를 수신하거나, 스마트 카메라의 데이터나 이벤트에 대한 의사결정사항을 사용자나 다른 시스템으로 전송한다.
하드웨어 측면에서 보면, ASIP는 하나 이상의 마이크로프로세서와 이와 연관된 메모리, 통신버스 및 기타 회로와 컴포넌트들로 구성되어 있다. 데이터 처리 부문의 구조와 구성되는 하드웨어에 따라 스마트 카메라를 몇 가지로 구분할 수 있다. ASIP에 있는 마이크로프로세서는 일반적으로 CPU나 DSP·FPGA 및 미디어 프로세서 또는 임베디드 시스템의 목적에 부합되도록 구성한 특수 목적의 프로세서 중에서 어떤 것이라도 사용할 수 있다.
소프트웨어 측면에서 보면, 스마트 카메라의 ASIP는 이미지 정보를 분석하여 유용한 정보를 추출해 내고, 특정 패턴이나 이벤트를 탐지하여 의사결정을 위한 정보를 생성하기 위해 여러 가지 비디오분석 알고리즘을 동작시킨다. 비디오분석을 위한 소프트웨어의 복잡도는 적용하는 애플리케이션에 따라 달라진다. 때로는 단순히 모션을 탐지할 정도로 간단하지만, 인간의 움직임을 인식해서 행동을 표시할 정도로 복잡한 경우도 있다. 일반적으로 스마트 카메라를 설계하고 개발할 때 가장 중요한 사항은 적용할 알고리즘을 효율적으로 동작시키는 데이터 처리 부문의 하드웨어 플랫폼을 결정하는 것이다.
3. 스마트 카메라의 특징 및 장점
스마트 카메라를 일반 CCTV 카메라, 웹 및 IP 카메라, 산업용 비디오카메라, 일반 목적 카메라와 비교하면 외형은 서로 비슷하겠지만 다음과 같이 구별되는 특징을 가진다.
-스마트 카메라를 분명하게 구분할 수 있는 요소는 그림 3에 보인 데이터 처리 부문, 즉 ASIP이다. ASIP에는 하나 이상의 마이크로프로세서가 내장되어 해당 애플리케이션에 대해 이미지를 실시간으로 처리하고, 특정 이벤트의 검출을 위한 알고리즘을 구동한다. 예를 들어, 차량번호 인식의 경우 ASIP는 자동차 번호판을 인식하고, 번호판에 있는 숫자와 글자를 인식하기 위한 알고리즘을 DSP나 프로세서 또는 코-프로세서 형태의 FPGA를 이용하여 실시간 수행한다.
-스마트 카메라의 주요 기능은 획득한 이미지에서 정보를 추출하여 의사결정을 할 수 있도록 하는데 있으며, 이로 인해 스마트 카메라의 출력에 사용되는 데이터 대역은 대체로 작다. 예를 들어, 자동차 번호판을 인식하게 되면 스마트 카메라의 출력은 단지 숫자와 글자를 표현하는 몇 바이트 정보로 수 초 동안만 표시되면 충분하다. 이처럼 낮은 출력 대역폭은 영상 센서로 사용되는 무선 스마트 카메라의 경우에 아주 중요한 특성이 된다.
-일부 스마트 카메라는 재프로그램 가능한 구조를 갖고 있어 특수한 애플리케이션에서는 필요에 따라 프로그램을 바꿔 다른 작업을 수행하도록 할 수도 있다. 예를 들어, 비디오 감시 애플리케이션에서 사용하는 스마트 카메라의 프로그램을 변경하여 침입 탐지, 도난물체 탐지 등으로 사용한다. 이와 같은 재프로그램 기능은 ASIP 부문에 있는 마이크로프로세서의 기능을 이용하기에 가능하다.
-스마트 카메라는 신호를 획득하고 신호의 품질이 최고인 상태에서 신호 처리와 이미지 처리를 수행한다. 이렇게 함으로 A/D 변환, D/A 변환을 거치는 과정에서의 감쇄현상, 네트워크 에러, 비디오 압축으로 인한 손실 등을 피할 수 있다.
-스마트 카메라는 데이터집중 신호처리, 이미지 처리를 수행하는데 실시간 요구를 충족시키기 위해 대용량 병렬 프로세스 기능을 제공하는 고성능 마이크로프로세서(DSP·FPGA 등)를 사용할 수 있다.
-마이크로프로세서가 내장되어 있고 자율적으로 동작하는 스마트 카메라는 특히 지능형 네트워크 애플리케이션이나 분산 비전 애플리케이션 분야에 적합하다. 스마트 카메라를 사용해서 분산프로세스를 수행하게 되면 대량의 정보를 전송할 필요가 없기 때문에 중앙처리시스템에서는 큰 장점을 갖게 된다. 이러한 이유로 최근 학계나 산업계에서는 분산 스마트 카메라 네트워크에 대한 관심이 높다.
이러한 장점으로 스마트 카메라는 앞으로 더 많은 분야에 활용되는 정보시스템의 핵심 컴포넌트가 될 것으로 기대되며, 입력 디바이스나 추적 디바이스 또는 통신용 서브시스템 등으로 널리 활용될 수 있다. 그러나 스마트 카메라 솔루션을 채택하게 되면 다른 비전시스템을 사용하는 것에 비해 아래와 같은 단점도 있다.
-스마트 카메라에 대한 인기와 기술적인 프로세스가 지속해서 성장하고 있음에도 불구하고, 스마트 카메라는 일부 머신 비전 애플리케이션 분야를 제외하고는 적절한 솔루션을 제공하지 못하고 있다.
-아직까지는 일반 컴퓨터와 함께 전통적인 카메라를 사용한 솔루션이 스마트 카메라 솔루션에 비해 더 많은 융통성을 제공한다.
-스마트 카메라는 기존 방식에 비해 사용자 인터페이스가 제한적이다.
4. 스마트 카메라의 분류
앞에서 설명한 바와 같이 ASIP는 스마트 카메라에서 가장 핵심적이고 기능이 뚜렷한 컴포넌트이다. 이 모듈은 하나 이상의 프로세서와 이를 지원하는 메모리·데이터버스와 기타 부품들로 구성되어 있으며, 지능적 이미지 처리와 관련된 알고리즘을 효율적으로 구동하기 위한 컴퓨팅 플랫폼으로 사용된다.
스마트 카메라는 임베디드 비전시스템의 특수한 타입에 속한다. 그리고 스마트 카메라 안에는 이미지 센서, 영상획득용 전처리 모듈, ASIP, 통신용 인터페이스, I/O 등 작업수행에 필요한 모든 시스템 컴포넌트가 내장되어 있다. 그러나 앞에서 설명했던 바와 같이 독립적인 카메라 형태를 갖추고 있지는 않지만 스마트 카메라로 분류할 수 있는 기타 임베디드 비전시스템, 특히 소형 비전시스템이 존재하며, 학문적으로나 연구문헌에서는 이러한 형태의 시스템들 대부분을 스마트 카메라로 간주하고 있다. 이러한 포괄적인 개념을 고려하면 스마트 카메라는 다음과 같이 5개의 범주로 구분 할 수 있다.
단일 칩 스마트 카메라
단일 칩 스마트 카메라는 동일한 칩 위에 반도체 이미지 센서(대부분 CMOS 이미지 센서)와 함께 ASIP의 전체 또는 일부 기능을 구현하는 스마트 카메라를 말한다. CCD 센서에 비해 CMOS 이미지 센서가 갖는 가장 중요한 장점은 이미지 센서 어레이를 구축할 수 있는 기능을 갖고 있으며, 지능형 이미지 처리 회로를 동일 칩 상에 구현하여 ‘스마트 센서(Smart Sensor)’를 만들 수 있는데 있다. 또한 각 픽셀 안에 이미지 처리 회로를 두어 스마트 픽셀을 만들 수 있으므로 이미지 처리에 대한 새로운 패러다임을 제시할 수 있다. 한 사례로 NeuriCam사에서 개발한 그림 4의 VISoC 단일 칩 스마트 카메라는 320×256 픽셀 CMOS 이미지 센서와 RISC 프로세서, 비전 코-프로세서, I/O 회로 등이 단일 칩 위에 구현되어 있다. 이러한 스마트 카메라는 많은 기능이 하나의 디바이스 내에 집적되어 있기 때문에 이 디바이스를 이용해서 모듈화 설계를 하기 어렵고, 표준 이미지 센서를 생산하는데 소요되는 비용에 비해 상대적으로 생산비용이 높다.
임베디드 스마트 카메라
임베디드 스마트 카메라는 휴대폰과 같이 다른 디바이스 내에 카메라가 내장되어 있는 형태를 말한다. 이러한 카메라는 내부에 숨겨져 있기 때문에 외부에서는 카메라의 존재를 인식하지 못하는 경우도 많다. 이러한 사례로는 비전 기술을 이용한 광 마우스 혹은 지문인식기, 로봇이나 자동차에서 사용하는 카메라 등이 있다. 이러한 종류의 스마트 카메라는 전용 프로세서나 디바이스 프로세서에 의해 ASIP 기능을 수행하도록 설계되어있다. 특히 휴대 디바이스에 내장된 카메라를 이용하여 새로운 애플리케이션을 수행하거나 새로운 제품을 만들 수 있다.
독립형 스마트 카메라
독립형(stand-alone) 스마트 카메라는 외형적으로나 정의에서도 알 수 있듯, 가장 보편적인 스마트 카메라로 볼 수 있으며, CCTV 카메라나 산업계에서 범용으로 사용하는 카메라와 비슷하게 (일반 카메라처럼) 보인다. 특히 산업계 머신 비전 분야에서 가장 보편적으로 활용되고 있으며, 어느 정도 시장이 형성되어있다. 독립형 스마트 카메라는 내장되어있는 전용 프로세서와 그 상위에서 수행되는 지능형 알고리즘에 의해 ASIP 기능이 제공된다. 대부분의 독립형 카메라는 실시간 운영체계를 사용해서 간단히 프로그램할 수 있으며, 사용자 인터페이스 기능도 개선하고 있다. 그림 5는 독립형 스마트 카메라의 대표적인 사례로 꼽히는 Intelio사의 ILC-210 스마트 카메라이다.
소형시스템 스마트 카메라
일반적으로 소형시스템 스마트 카메라는 2개의 주요 부분으로 구성된 임베디드 비전시스템을 의미한다. 한 부분은 기존의 카메라나 ASIP 부문을 포함한 본체가 되며, 나머지 한 부분은 ASIP와 통신용 I/O 인터페이스를 포함하는 부분이 된다. 일반적으로 소형시스템 스마트 카메라는 전용 케이블이나 통신 인터페이스를 통해 외부에 별도로 있는 전용 이미지 처리 유닛에 연결된다. 이들 카메라는 이미지 획득 기능을 수행하며, 때로는 전송되는 데이터의 양을 줄이거나 기능 추출을 위해 사전 처리와 같은 ASIP 기능을 수행한다. 또한 시스템 ASIP의 나머지 기능은 외부 유닛에서 수행한다.
이러한 유형의 스마트 카메라는 값도 싸고 다른 모듈로 대체하거나 업그레이드도 용이하다. 외부 프로세스 유닛은 이용할 수 있는 메모리 및 다른 리소스들이 충분하기 때문에 더 많은 프로세스 파워를 제공할 수 있다. 보안이나 교통량분석과 같은 비디오 감시 애플리케이션에서 이러한 유형의 스마트 카메라를 사용하는 사례가 많이 있으며, 대부분의 대학이나 연구 그룹에서 이러한 카메라를 활용하고 있다.
분산 스마트 카메라
네트워크 기술과 센서 네트워크, 무선 통신 기술 등이 발전함에 따라, 최근 분산 스마트 카메라 혹은 네트워크 스마트 카메라 분야에 대해 학계나 산업계에서 관심이 높아지고 있다. 분산 스마트 카메라 시스템은 여러 대의 카메라와 스마트 카메라가 네트워크를 통해 연결되는데, 이때 네트워크 전체를 하나의 단일 가상 스마트 카메라처럼 사용할 수 있다. 각 카메라마다 분리된 모습을 모아 서로 결합하고 협력하여 이벤트를 분석하거나 어떤 일을 수행하므로 전체가 마치 하나의 가상 스마트 카메라처럼 보이게 된다. 이러한 유형의 스마트 카메라를 사용함으로 유리해지는 애플리케이션으로는 비디오 감시시스템 분야, 머신 비전시스템 분야, 자동 시스템 분야 등이 있다.
( 7월호에서 계속 >> )
글 |김무섭(M.S. Kim) ETRI 융합서비스보안연구팀 선임연구원 한종욱 (J.W. Han) ETRI 융합서비스보안연구팀 팀장
