의료용 어플리케이션에서 머신 비전 카메라의 역할
Basler
카메라는 현미경 검사, 안과학, 병리학, 내시경 검사, 실험실 자동화 및 생물의학 연구 분야에서 특히 중요한 구성요소이다.
지난 호에서는 첫 번째 주제로 디지털 카메라의 주요 특성을 검토해 의료용 애플리케이션을 위한 머신 비전(MV)의 장점을 집중적으로 설명했다. 이번 호에서는 머신비전 카메라의 색 충실도 개념에 대해 알아보고 끝으로 CCD와 CMOS의 두 가지 센서의 개념과 장단점, CCD에서 CMOS 센서로의 전환에 대해 설명한다.
1. 의료 관련 카메라 애플리케이션에서의 색 충실도
디지털 병리학, 안과, 혈액학 및 현미경 검사 등 빠르게 성장하고 있는 의료 진단 분야에서 색 충실도는 매우 중요하다. 디지털 병리학은 서로 다른 두 개의 실험실 간에 표본 이미지를 전송하는 데 유용한 도구이다. 이 도구를 이용하면 보다 저렴하면서 효율적으로 강력한 진단을 내릴 수 있어 전문가들은 표본과의 물리적 거리에 제한받을 필요가 없다.
소프트웨어는 디지털화된 표본을 보고 설명을 남기는 데 도움을 준다. 일단 디지털화되고 나면 표본 내의 검사 영역도 분석 알고리즘으로 전송할 수 있다. 이 컴퓨터 보조 진단장치(CAD)는 신경망과 같은 패턴 인식 알고리즘을 바탕으로 하며 최근 비약적으로 발전했다. 앞으로 그 중요성은 더욱 커질 것이다.
이 프로세스를 이용하면 표본을 사전 검토할 수 있어 시간과 비용을 절약함과 동시에 진단에 대한 신뢰도를 높일 수 있다. 병리학자들은 표본 내부의 특정 생체 구조의 색상을 진단 분석을 위한 지표로 간주하기 때문에 카메라가 엄격한 기대치를 만족시켜 물리적 표본의 디지털 버전에 자세한 부분과 색조까지 올바로 반영되도록 보장할 수 있어야 한다.
진단이 색 충실도에 크게 좌우되는 또 다른 응용은 디지털 피부 확대검사이다. 디지털 피부확대검사 중에는 악성일 가능성이 있는 피부구조가 카메라에 녹화된다. 광학 피부확대경은 암으로 의심되는 피부 일부분에 대한 평가를 할 수는 있었지만 표준화된 문서 작성이나 시간 경과에 따른 정량화된 관찰은 가능하지 않았다.
디지털 피부확대검사에서는 카메라를 이용해 수상한 피부 병변을 촬영한다. 다양한 시간에 걸쳐 검사를 수행함으로써 색소의 변화를 디지털 방식으로 녹화할 수 있다. 소프트웨어가 이미지를 녹화하여 피부과 의사가 볼 수 있게 한다. 반경 및 색상과 같은 다양한 기준들이 피부과 의사에게 진단을 위한 핵심 정보를 제공한다. 따라서 색 충실도는 진단 과정에서 중요한 요소이며 카메라의 몇 가지 요구 사항을 구성한다. 디지털 피부확대 검사에서는 특히 조명의 종류 및 빛을 발하는 색상에 관계없이 색상을 정확히 재현해야 하기 때문에 결코 사소한 문제가 아니다.
1.1 물체에서 측정값으로의 변환: 디지털 카메라의 색상 표현 방법
앞에서 언급한 애플리케이션들은 카메라가 어떻게 문서 작성, 시각지원 및 측정을 위한 도구 역할을 하는지, 그리고 의료/기술 애플리케이션에서 카메라의 색 충실도 요구 사항이 얼마나 엄격한지에 대한 사례를 제공했다. 색상 재현 과정을 설명하려면 먼저 물체의 색상 및 이미지의 색 농도 값이 어떻게 결정되는지 검토해야 한다. 물체에서 반사된 빛은 렌즈를 통해 센서에 닿은 뒤 카메라에 의해 색상 값으로 변환된다.
이미지 촬영 중에 물체에서 반사된 빛은 처음 렌즈를 통과한 뒤 카메라 센서로 이동한다. 세 가지 구성 요소 모두가 결정적 중요성을 갖고 있다. 물체에 대한 조명이 우수할수록 센서가 색 농도를 캡처할 수 있는 정밀도가 높아진다. 반사된 빛은 렌즈를 통해 센서에 투사되기 때문에 역시 매우 중요하다.
센서는 입사광의 광자를 기록할 수 있는 수많은 독립된 픽셀들로 구성되어 있으며 광자의 양에 다양한 강도의 전자 신호를 통해 결과를 보고한다. 때문에 개별 픽셀은 들어오는 광자를 주워 담는 ‘양동이’로 이해할 수 있다. 광자의 수와 스펙트럼 관련성(파장)을 구분하기 위해 컬러 센서에는 Bayer 패턴 또는 Bayer 매트릭스라 불리는 필터가 사용되어(그림 3) 특정 파장의 광자는 통과시키고 다른 파장의 광자는 차단한다(그림 4). Bayer 패턴의 디자인은 센서 모델에 따라 달라질 수 있지만 일반적으로는 세 가지 유형의 필터(50% 녹색, 25% 적색 및 25% 청색)로 구성된다.
1.2 RGB 값 계산
다음 단계에서는 개별 컬러 픽셀의 농도 값을 사용해 색상 값을 계산한다. 목표는 Bayer 패턴의 농도 값(예: 픽셀 당 8비트)을 기준으로 RGB정보(픽셀당 24비트– 적색 8비트, 녹색 8비트, 청색 8비트)를 추정하는 것이다. 이 프로세스를 ‘디베이어링’이라 하며 누락된 색상 값의 추정과 관련된 것이다.
디베이어링은 CPU를 많이 사용한다. Basler 모델을 포함한 최신 카메라들은 이러한 잡다한 작업들을 내장되어 있는 FPGA를 이용해 내부적으로 처리한다. 사용자 입장에서 이는 컴퓨터의 부하를 줄일 수 있음을 의미하며, 특히 리소스가 한정되어 있는 임베디드 애플리케이션의 경우 매우 중요하다. FPGA를 이용함으로써 연산으로 인한 지연 시간도 최소한으로 유지된다.
색상 재현에 조금이라도 변동이 생기면 컬러 의료 이미지에 중요한 문제를 유발할 수 있다. 표준 sRGB 색 공간은 다양한 카메라 또는 센서 간의 차이 문제를 해결하는 데 도움을 주기 위해 개발되었다.
특히 표준화된 문서 작성이 중요한 제약 분야는 표준화된 컬러 재현의 원칙으로 sRGB에 의존한다. sRGB는 동일한 sRGB 값을 가진 이미지 데이터가 전 세계 어디서든 색상이 보정된 sRGB 모니터에서 동일하게 보이도록 한다. 카메라 특유의 RGB 값을 표준 sRGB 값으로 변환하려면 카메라에 색상 보정 및 감마 보정의 두 가지 보정 알고리즘이 필요하다.
1.3 색상 보정(Color Calibration)
앞에 기술되어 있는 바와 같이 카메라에 의해 생성된 색상 값은 대부분 조명, 렌즈, 센서 및 보간법(디베이어링)과 같은 요소들에 좌우된다. 의료 진단 시 계산된 색상 값에 의지하려면 먼저 색상을 실제물체에 맞춰 조정하는 색상 보정이라는 일련의 절차가 필수이다.
최신 카메라 시스템에서 색상 보정은 매트릭스 보정 및 6축 오퍼레이터를 이용한 보정이라는 세 가지 하위 절차로 구성된다. 이러한 보정이 완료되면 소위 감마 보정이 수행되는데 이것은 색상 보정에 포함되는 것은 아니다.
보정 프로세스에서는 세 가지 Color Checkers를 사용한다(그림 5, 오른쪽). 이것은 24개 색상 및 6단계 그레이로 이루어진 체스판 모양의 카드로서 정사각형이 서로 연결되어 있는 형태이다. 규정된 특정 조명하에서 보면 개별 필드의 sRGB 값들은 알려져 있는 요소이며(그림 5, 왼쪽) ColorChecker가 카메라에 의해 감지된 컬러를 위해 벤치마크 역할을 할 수 있게 한다.
카메라의 색상값은 특정 필드를 기준으로 측정되며 그런 뒤 색상 필드에 대해 알려진 실제 값과 비교할 수 있는 sRGB 값을 제공한다. 색 공간에서 측정된 지점과 알려진 지점 간 벡터 길이를 ΔE(그림 6 참조)라 하며 색차라 부른다.
ΔE가 1인 경우를 최소식별가능차이(JND: justnoticeable difference)라 한다. ΔE가 1보다 크면 다른 색상으로 인식된다. 이어지는 보정 프로세스의 목표는 색차 ΔE를 최대한 줄이는 것이다. 과거에는 색차 ΔE를 계산하는 방법이 매우 다양했다. 70년대에 위에서 설명한 ΔEab가 유클리드 벡터 거리를 측정하는 데 사용되었으며, 최근에는 ΔE94 및 ΔE00와 같은 개념이 지점 간 거리에 대한 인간의 인지를 보다 정밀하게 설명하는 데 사용되고 있다.
1.3.1 화이트 밸런싱
화이트 밸런싱은 사진의 피사체를 조명하는 데 사용되는 빛의 색온도에 맞게 카메라를 조정하는 데 사용된다. 이를 위해 ColorChecker의 그레이 필드가 사용된다. 사람의 눈은 색 순응(chromatic adaptation)이라는 형태로 자체적인 화이트 밸런싱을 수행한다. 이것은 주변광에서 색온도 변화를 주관적으로 인지하는 것을 방지한다. 햇살과 인공 조명 모두에서 흰색 종이는 비슷해 보이다.
화이트 밸런싱은 다양한 방식으로 수행할 수 있다. 아마도 가장 간단한 방법은 관찰자로 하여금 흰색 영역을 선택하도록 지시하는 것일 것이다. 하지만 많은 애플리케이션이 자동으로 화이트 밸런싱을 수행한다. 극히 간단한 Grey World 처리와 같은 다양한 절차 중 하나를 사용할 수 있다. 이 방법에서는 정상적인 사진에서 모든 색상의 평균은 회색이라고 가정한다. 회색과 계산된 색상 평균 사이의 차를 파악한 뒤 색상 채널을 곱하면 흰색 표면의 합계는 R=G=B이어야 한다.
1.3.2 매트릭스 보정
매트릭스 보정은 센서의 컬러 픽셀이 갖고 있는 스펙트럼 감도를 사람의 감각 기관인 눈의 감도에 맞게 조정하는 데 사용된다. RGB색상계는 적, 녹, 청으로 구성되며 이 색들이 3x3 컬러 매트릭스로 조합되어 올바른 색조를 만들어낸다. 매트릭스 보정 결과는 카메라별 RGB 값을 표준 sRGB 값으로 변환하는 데 사용된다.
1.3.3 색조, 새츄레이션
제약 업종을 위한 비전시스템을 개발할 때는 이미지의 색차 최소화에 대한 기대뿐 아니라 많은 경우 미관상 매력적이어야 한다는 기대가 있다. 특히, 측정뿐 아니라 사진을 통한 문서 작성용으로 도입되는 카메라는 세포 구조의 거시적 관찰 사례에서 그렇듯이 사용자들이 보기 좋게 채색된 이미지를 기대하도록 만들곤 한다. 색조 및 새츄레이션과 같은 기능은 이런 점에서 중요한다.
색 공간에서 새츄레이션이 증가하면 색상 지점은 공간의 바깥쪽으로 재배치된다(그림 9 참조, 오른쪽). 이와 대조적으로 색조 변화는 컬러 픽셀이 회전하게 한다(그림 9 참조, 왼쪽). 새츄레이션과 색조는 전체에 작동한다는 점을 기억하는 것이 중요한다. 이들 기능을 이용해 이루어진 변화는 모든 색상에 동일한 수준의 영향을 줄 것이다.
1.3.4 6축 오퍼레이터
6축 오퍼레이터는 다른 색상에 영향을 주지 않으면서 색 공간 내에서 개별 색상을 처리할 수 있게 만든다.
촬영술을 포함한 일부 애플리케이션에서 사용자들은 특별한 색상의 느낌을 찾아내는 훈련을 받거나 여러 해 동안 실무 경험을 통해 이런 작업을 익힌다. 6축 오퍼레이터를 사용하면 색 표현을 사용자고유 취향에 맞춰 조정할 수 있다. 무엇보다 이는 새로운 장치를 개발할 때, 심지어 카메라 구성 요소를 교체해야 할 때조차 이미지의 느낌을 그대로 유지할 수 있음을 의미한다.
이 외에도 6축 오퍼레이터는 두 가지 색상 간 차이를 개선할 수 있게 해준다(예: 비슷한 적색 톤 두 가지). 이 예에서 밝은 적색과 어두운 적색은 노란색과 마젠타로 변경될 수 있다.
1.4 감마 보정
사람의 눈과 달리 카메라 센서들은 밝기를 선형적 값으로 인식한다. 다시 말해, 광자의 수가 두 배가 되면 측정된 농도 값을 두 배로 재현한다. 진화론적 이유로 사람의 눈은 밝기의 차이를 비 선형 값으로 인식한다. 어두운 곳에서의 밝기 차이는 밝은 곳에서보다 더 강하게 인식된다. 이로 인해 촬영한 이미지를 장치에서 올바로 렌더링하려면 먼저 감마 보정을 수행해야 한다.
이것은 어두운 영역에서의 밝기 차이는 확대하고 밝은 영역에서는 줄이는 곡선을 바탕으로 빛의 강도 값을 비선형적으로 변환하는 것에 해당된다. 목적은 모니터에서 그레이 값에 대한 선형성을 다시 확보하는 것이다.
이미지 신호는 전송 경로를 따라 비선형 볼록면을 형성하기 때문에 이 현상을 보정하기 위해 사전에 이미지에 비선형 오목면을 곱해야한다(그림 10 참조).
1.5 현실적인 색상 보정
최신 카메라에는 사전에 정의된 색상 보정 기능이 내장되어 있다(화이트 밸런싱, 매트릭스 보정 및 6축 오퍼레이터). 이러한 설정들은 시나리오 별로(daylight 5000 Kelvin, Daylight 6500 K 및 Tungsten 2500 K) 사전 보정해 이러한 상황에서 카메라를 바로 사용할 수 있게 해 준다.
사용자가 자신의 비전 시스템과 특수 조명에 맞춰 색상 보정 프로세스를 수행하고자 할 경우 이러한 소프트웨어를 제공하는 카메라 제조업체는 Basler를 포함해 소수에 지나지 않다.11
색상 보정 기능이 없는 산업용 카메라는 대개 색차 값이 10에서 20사이에 이fms다. 색상 보정 덕분에 최신(Basler) 카메라의 색차 합계 ΔE는 3~4 수준이며 이는 제약 업계의 높은 기준을 만족시키기에 충분한 수준이다.
색 충실도 요약
색 충실도를 위한 핵심 요소는 조명, 센서 및 색상 보정이다. 디베이어링, 화이트 밸런싱, 감마 보정, 매트릭스 보정 및 6축 오퍼레이터와 같은 사전 처리는 색차를 최소화하거나 색상을 이전 색상 프로필에 맞게 조정할 수 있다(예: 기존 비전 시스템을 대체하는 새 제품의 프로필 조정).
측정치에 따라 색차( ΔE)가 결정되며 ΔE 3 - 4는 매우 우수한 수준으로 간주된다. 빛 온도에 맞춘 보정은 카메라 환경에서의 통합 비용을 줄여준다. 컬러 매트릭스 보정 또한 시스템별로 사용자가 직접 조정할 수 있다. FPGA를 이용한 디베이어링은 호스트에서의 연산에 필요한 리소스를 절약해 준다.
2. CCD에서 CMOS 센서 기술로의 전환
시판되고 있는 산업용 카메라용 이미지 센서는 두 종류, CCD 및 CMOS 센서이다. 하지만 오래 전부터 대세는 CMOS 센서 기술로 기울었다. 이러한 변화가 놀라울 것이 없는 것이 CMOS 센서는 에어리어 스캔과 라인 스캔 카메라에 중요한 변수인 프레임 속도 및 노이즈 레벨이 최근 크게 향상되었다. 이 외에도 CMOS는 상대적으로 가격이 저렴해 추가적인 절감을 가능케 한다.
2.1 두 가지 센서 기술의 차이는 무엇일까?
현재 시판 중인 센서 종류에는 CCD(charge-coupled device)와CMOS(complementary metal oxide semiconductor) 이미지 센서가 있다. 이들 센서의 역할은 빛(광자)을 전기 신호(전자)로 변환하는 것이다. 하지만 이 정보는 두 가지 센서에서 서로 다른 방식과 수단에 의해 전달되며 각각의 설계 자체에 근본적인 차이가 있다.
2.2 CCD 센서 디자인
CCD 센서에서는 광 감지 픽셀의 전하가 신호로 전환된다. 반도체노출에 의해 생성되는 픽셀의 전하는 ‘버킷 체인’ 작업과 비슷한 수많은 작은 이동 작업(세로 및 가로 시프트 레지스터)을 통해 중앙에 있는 아날로그/디지털 컨버터로 이동된다. 전하의 이동은 센서의 전극에 의해 생성되는 전기장에 의해 이루어진다.
CCD 센서의 전하 이동에는 많은 시간이 소요된다. 많은 수의 픽셀을 바탕으로 많은 이동 작업을 통해 중앙 증폭기에 전하를 공급해야하는 고해상도 센서에서 이러한 단점은 두드러진다. 이로 인해 최대 프레임 속도가 크게 저하된다.
2.3 CMOS 센서 디자인
CMOS 센서에서는 개별 픽셀에 전하 저장소 역할을 하는 커패시터가 평행하게 배열된다. 이 커패시터는 각 픽셀이 광전류에 노출되어 충전된다.
커패시터에 생성된 전압은 밝기 및 노출 시간에 비례한다. CCD 센서와 달리, 센서가 빛에 노출됨으로써 포획된 전자는 단일 출력 증폭기로 이송되는 대신 각 픽셀 자체 전자 회로를 통해 소스에서 직접 측정 가능한 전압으로 변환된다. 그 뒤 이 전압이 아날로그 신호 프로세서에 전달된다. 별도의 전자 회로를 사용함으로써 CCD에서처럼 전하를 이동시키지 않고도 각 픽셀을 처리할 수 있다.
이로 인해 CCD 센서에 비해 이미지 정보를 훨씬 빨리 선택할 수 있고 과도한 노출로 인해 생길 수 있는 초점번짐(blooming) 또는 스미어링(smearing)과 같은 현상이 훨씬 적거나 아예 발생하지 않다. 단점은 각 픽셀 전자 회로에 필요한 추가공간이 빛을 감지할 수 있는 영역으로 제공되지 않는다는 것이다.
따라서 CCD 센서에 비해 센서 표면에서 빛을 감지할 수 있는 영역비율(Fill Factor에 의해 정해짐)이 작다. 이로 인해 이론적으로는 이미지 정보를 수집할 수 있는 광자 수가 적어진다. 하지만 이런 단점을 완화할 수 있는 방법들이 있다.
CMOS 센서는 개별 픽셀이 흡수할 수 있는 전자의 최대 개수를 결정하는 풀웰커패시티 또는 새츄레이션 커패시티가 훨씬 높다. 이것을 인위적으로 낮은 새츄레이션 임계값으로 제한한다. 그래서 CCD 센서가 감도 값이 보다 우수한 반면 CMOS 센서는 우수한 새츄레이션 커패시티를 통해 다이내믹 레인지(Dynamicrange)를 구현하는 것 이상의 효과를 낸다. 이렇게 해서 CMOS와 CCD 센서는 거의 동일한 다이내믹스 레벨의 성능을 제공한다.
CMOS 센서가 CCD 센서에 비해 현재에는 기술적으로 성숙되어 있으며 많은 애플리케이션에서 실제로 더 나은 성능을 보이고 있다.
2.4 의료 및 생명 과학 애플리케이션에서의 CMOS 기술의 장점
위에서 언급한 바와 같이 CMOS 센서는 최근 몇 년 사이 괄목할 만한 업그레이드를 거쳤으며 대부분의 경우 CCD 센서에 비해 우수한 성능을 보여준다. 빠른 속도(프레임 속도) 및 해상도(픽셀 개수), 낮은 소비 전력, 그리고 무엇보다 최근 개선된 노이즈 특성, 양자 효율은 과거 CCD 센서가 독차지했던 애플리케이션 영역까지 열어주었다. CMOS 기술의 성능 개선과 강력한 가성비는 의료 및 생명 과학 애플리케이션에서 더욱 매력적인 제품으로 만들어주고 있다.
■ 빠른 속도(프레임 속도)
CMOS 센서는 구조적으로 훨씬 더 높은 프레임 속도를 허용한다. 개선된 감도, 그리고 CMOSIS, Sony 그리고 ON Semiconductor의 최신 글로벌 셔터 기술이 결합되어 이제는 초고속으로 이미지 시퀀스를 캡처할 수 있다. 이는 초당 검사 가능 부품 수 증가와 같이 애플리케이션에서의 성능 향상으로 이어진다.
- 현미경 검사 샘플의 끊김 없는 검사
- 실험실 자동화 애플리케이션을 위한 신속한 초점조절
■ 높은 해상도(픽셀 개수)
구조적으로 CMOS 센서는 초고해상도에서도 매우 높은 프레임속도를 제공할 수 있으며 이로 인해 고해상도 센서들은 이 기술을 기반으로 생산되고 있다.
- 자동화된 표본 검사에 충분한 해상도
- 현미경 검사에서 백만 픽셀 단위의 해상도를 선호하는 트렌드에 따른 높은 해상도에 대한 수요 증가
■ 강력한 다이내믹 레인지(Dynamic range)
풀웰커패시티 또는 새츄레이션 커패시티는 개별 픽셀이 흡수할 수 있는 전자의 최대 개수이다. 감도에 대한 풀웰커패시티 비율은 센서가 커버할 수 있는 다이내믹레인지를 나타낸다. 그래서 CCD 센서가 감도 값이 보다 우수한 반면 CMOS 센서는 우수한 새츄레이션 커패시티를 통해 다이내믹 레인지(Dynamic range)를 구현하는 것 이상의 효과를 낸다.
이렇게 해서 CMOS와 CCD센서는 거의 동일한 다이내믹스 레벨의 성능을 제공한다. SonyIMX174 센서는 모든 동급 CCD 센서와 비교해 우수한 다이내믹레인지를 갖고 있는 CMOS 센서의 좋은 예이다.
- 현미경 검사 카메라에서의 강력한 재현 성능
■ 낮은 소모 전력
- 낮은 열 방출 및 전력 소모, 소형 또는 휴대용 의료 기기에 최적
- USB 3.0과 같은 데이터 연결을 통해 전체 카메라에 전원을 공급할 수 있어 시스템 설치 간소화 및 비용 절감에 기여함
■ 노이즈 특성 개선
- CMOS 센서의 낮은 전력 소비로 인해 열 방출이 적어지고 신호 노이즈가 훨씬 적어진다. 경험 법칙: 온도가 8°C 상승할 때마다 신호 노이즈가 두 배 증가한다.
■ 향상된 양자 효율
몇 년 전 사람들은 저조도 환경에서는 CCD 센서를 선택하는 것이 좋고 CMOS 센서는 밝은 조명 여건 하에서 사용하는 것이 좋다고 말했다. 하지만 CMOS 센서의 이미지 품질이 놀라울 정도로 향상되어 이제는 어두운 환경에도 적합하다.
- 형광조명 애플리케이션용으로 적합함
■ 우수한 가격 대비 성능
- 의료 기기 및 시스템 비용 절감
오늘날 CMOS 기술이 갖고 있는 주요 특성으로 인해 오랫동안 인기를 누릴 것으로 보인다.
자료 제공: Basler(www.baslerweb.com)
