머신비전 카메라의 기술 발전을 위한 이미지 센서의 기능과 역할
Adimec
1. 소개
많은 산업 OEM 시스템 빌더는 사용할 이미지 센서를 바탕으로 머신비전 시스템 사양을 만들기 시작했다. 이 센서는 특정 애플리케이션의 중요한 성능 요구 사항에 큰 영향을 미친다.
이미지 센서가 선택되면, OEM 시스템 개발자는 보통 특정 이미지 센서가 포함된 카메라를 고려한다. 그 다음 카메라 개요나 단가와 같은 기본 요구 사항에 따라 최종 결정을 내린다. 이미지 센서 선택과 기본 카메라 특성이 모두 중요하지만, 같은 이미지 센서를 사용하더라도 모든 카메라가 똑같이 생성되는 것은 아니라는 점을 알아야 한다.
애플리케이션의 요구에 최적화된 솔루션을 찾기 위해서, OEM은 카메라 개발자가 이미지 센서를 개선하고 장점을 제공하는 성능과 기능을 신중히 검토해야 한다. 추가 기능은 정확성과 성능, 확장성을 크게 향상할 수 있다. 또한 카메라 빌더가 이미지 센서 신호를 왜곡하지 않고 개선했는지를 확인해야 한다. 결국 전체 시스템의 장기적 ROI는 카메라와 카메라 공급 업체의 영향을 많이 받는다. 카메라 성능과 업그레이드, 교체 요구 사항, 안정성, 향후 로드맵 정렬, 지원 등이 그 예시이다.
2. 이미지 센서가 결정하는 매개변수와 산업용 카메라의 종류
이미지 센서는 카메라의 중요한 구성 요소이며 다음을 포함해서 카메라의 여러 중요한 매개변수를 결정한다.
•해상도와 픽셀 피치
•프레임 속도(fps)
•흑백 또는 컬러
•감도(QE)
•다이내믹 레인지
•읽기 노이즈(예: 시간 경과에 따른 안정성, 온도 또는 특정 왜곡 등)
그러나 여러 카메라가 같은 이미지 센서를 사용한다고 해서 다른 공급 업체의 카메라가 동일한 이미지를 생성하거나, 특정 비전 애플리케이션의 요구 사항을 충족하지는 않는다. 카메라 제조업체마다 전략과 계획이 다르기 때문에 다양한 유형의 제품을 만들 수 있다. 산업용 카메라는 일반적으로 세 가지 종류로 나눌 수 있다.
1) 범용 카메라
시장과 애플리케이션에 광범위하게 적용할 수 있도록 소형이며 저렴한 비용으로 설계됐다.
2) 고성능 카메라
최적화된 추가 기능과 엄격하게 제어된 제조로 특정 애플리케이션의 요구를 염두에 두고 설계됐다. OEM 시스템에 대한 적합성을 향상하기 위해 일부 사용자 요구사항이 반영되어 제조된다. 고객은 카메라가 시스템의 중요한 구성 요소인 OEM 업체이다.
3) 과학용 등급 카메라
과학적인 용도로 최고 해상도 또는 최고 감도와 같은 한두 측면에만 최적화됐다. 크기와 무게, 비용은 중요하지 않다. 고객은 과학 실험실과 연구 기관에 종사하는 사람이다.
범용 카메라가 시스템에 적합한지 또는 고성능 카메라가 더 적합한지 고려하는 것이 중요하다. 이로써 전체 시스템 비용을 줄이고 최종 고객에게 제공되는 OEM 장비의 가치를 높인다. 고성능 카메라 제조업체는 다음과 같이 OEM에 최적화되고 유용한 방식으로 이미지 센서에 추가한다.
•알고리즘 기능과 고급 이미지 처리
•반복성 또는 재현성을 위한 설계와 제조
•인터페이스 옵션
카메라 개발자가 각 요구 사항을 해결하는 방법은 시스템을 구축할 카메라를 최종으로 결정하는 데 도움 될 수 있다.
3. 기능과 처리
카메라 제조업체는 이미지 센서의 핵심 기능 이외에도 다양한 기능을 추가해서 이미지 센서의 기능을 개선하고 추가할 수 있다. 기능에는 다음 항목이 포함된다.
•공간 노이즈 감소(균일성 보정)
- 플랫 필드 보정
- 채널 매칭
- 음영 보정
•일시적 소음 감소
- 프레임 평균화
(N은 픽셀에 축적된 전자의 개수인 √N만큼 SNR 증가)
- 비닝(온 칩, 또는 오프 칩)
•다이내믹 레인지 확장
- 평균 프레임
- 비닝
- 다양한 통합 시간과 이미지 결합
•데이터 표현 변경
- 비디오 향상
- 가장자리 향상
- 룩업 테이블 또는 LUT(예: 감마)
- 이미지 회전
- 컬러 처리
- 관심 영역(판독)
- 전기 광학 시스템 보정
고급 이미지 센서 기능과 카메라 내장 기능을 사용하면, 다음과 같은 여러 장점이 있다.
•이미지가 인터페이스 링크로 전송되기 전에 이미지 처리에 더 높은 비트 심도가 제공되므로 정확도가 높아진다.
•보정이 왜곡 소스에 더 가까워지고 숙련된 카메라 제조업체가 잠재적인 문제를 철저히 이해하므로 효율성이 향상된다. 우수한 카메라 제공 업체는 이미지 센서 칩을 구동하고 최적화된 이미지를 얻는 방법에 대해 수년간의 경험을 가지고 있다.
•PC 프레임 그래버 처리에 대한 부하가 줄어들면 전체 시스템 비용이 저렴해질 수 있다.
•데이터 전송률이 감소하면 시스템 연결 인프라로 비용을 최적화할 수 있다. 예를 들어, 이미지가 카메라에서 처리되는 경우 2탭 CameraLink 인터페이스로 10탭 구성 대신 결과를 전송할 수 있다.
•인터페이스 이전의 데이터 감소로 처리량이 빨라진다(ROI, 압축, 비트 감소).
•온도 변화, 조명 조건, 렌즈 결함, 또는 기타 특정 시스템 조건을 조정하는 직접 루프로 자동 조정할 수 있다.
다음은 이러한 유형의 개선 사항과 장점에 대한 자세한 예시이다.
3.1 공간 노이즈 감소(균일 보정)
구성 요소에는 이미지 센서와 렌즈가 포함된다. 고품질 CCD와 CMOS 센서를 사용하더라도 센서는 인공물을 생성한다. CMOS 센서를 사용하면 프레임 사이의 안정성이 문제될 수 있다. 픽셀 간에 불균일도 있다. 각각의 열은 상이한 암전류나 감도를 가질 수 있으며, 이는 화소마다 불균일 때문에 더 복잡해진다. CCD 이미지 센서의 경우 각 출력(채널)에서 불균일성이 있다. 또한 채널과 열 혹은 픽셀은 다른 비선형성 특성을 보일 수 있다.
이미지의 세부 사항에 의존하는 측정 기술의 경우, 균일성이 떨어지면 정확도에 영향을 끼친다. 문제를 해결하려면 카메라 제조업체에서 왜곡을 유발하는 센서의 메커니즘을 완전히 이해해야 한다. 이해를 바탕으로 모델링을 수행하고 생산과정에서 왜곡을 보정할 수 있다. 더 중요한 것은 시스템의 특정 조건에 맞게 실시간으로 조정할 수 있다는 것이다.
3.2 플랫 필드 보정(FFC, Flat Field Correction)
CCD와 CMOS 기반 카메라로 FFC(Flat Field Correction)를 수행해서 센서 왜곡과 렌즈 왜곡, 조명 왜곡(음영)을 수정할 수 있다. 플랫 필드 보정의 목적은 노출에 관계없이 이미지 균일성을 보장하는 것이다.
CMOS 센서 기반 카메라에서 FFC는 센서 왜곡을 최소화하거나 제거하고 이미지 균일성을 향상하는 데 중요하다. ‘이미지 맵’은 모든 픽셀의 동일한 반응을 위해서 또한 이미지 센서를 보정하기 위해 카메라에 생성되고 저장된다. 일부 카메라에는 온도 변화에 대한 보정 조정을 제어하는 자동 루프가 있다.
보정 예시는 그림 1a와 1b에서 확인할 수 있으며, 카메라 성능을 크게 향상하는 방법이 나와 있다.
FFC에 의한 급격한 균일성 향상은 그림 1b에서 볼 수 있다. 카메라의 FFC 구현은 시스템의 프레임 그래버 또는 CPU/GPU에서 복잡한 보정과 조정을 줄이고 애플리케이션 전용 알고리즘에 대한 이미지를 즉시 사용할 수 있도록 한다.
3.3 시간 노이즈 감소와 다이내믹 레인지 확장
노이즈는 시간에 따라 다르며 샷 노이즈와 읽기 노이즈가 포함된다. 시간 노이즈 감소 기술을 사용해 샷 노이즈와 읽기 노이즈를 줄이고 결과적으로 카메라의 다이내믹 레인지를 증가시킬 수 있다. 샷 노이즈는 센서 표면에 광자가 무작위로 도달해 발생한다. 그 결과 샷 노이즈는 더구나 이미지의 밝은 부분에서 세부사항을 감지하는 측정에 의존하는 애플리케이션에서 고려해야 할 노이즈 소스 중 하나이다.
비닝과 평균화로 노이즈 감소
비닝과 평균화라는 두 가지 기술, 또는 그 조합으로 다이내믹 레인지를 증가시키기 위해 노이즈를 줄일 수 있다. 비닝은 전자 회로 노이즈를 줄이고 프레임 평균은 전자 회로 노이즈와 샷 노이즈를 줄인다. Adimec의 일부 카메라에서 두 기능 모두 센서 성능에서 최대 +12dB의 노이즈 개선을 달성할 수 있다.
비닝을 사용하면 카메라의 해상도는 낮아지지만 최대 카메라 프레임 속도는 유지된다. 프레임 평균을 사용하면 카메라의 해상도는 유지되지만 카메라의 최대 프레임 속도는 떨어진다. ROI 이미징을 적용하면 평균화로 샷 노이즈 개선과 속도 사이의 타협점을 찾을 수 있다(예: ROI 이미징은 평균화로 속도 저하를 보상하는 데 사용할 수 있는 카메라의 획득 속도를 증가시킨다).
프레임 평균화를 이용한 샷 노이즈 감소는 카메라 인터페이스와 PC 프레임 그래버 처리에 대한 데이터 로드를 줄이므로 카메라 처리로 시스템 비용을 최적화하는 완벽한 예시이다.
또한 Camera Link 기반 프레임 그래버 환경에서는 불가능한 비트 심도와 프레임 속도로 카메라 내에서 평균화가 수행된다. Camera Link의 높은 데이터 전송률은 픽셀당 8비트로 제한된다. 따라서 빠른 획득 속도(4Mpx의 80fps)에서 PC와 프레임 그래버의 평균화는 8비트 입력만을 바탕으로 하지만, Adimec QUARTZ 카메라는 센서의 전체 10비트를 사용한다. 그 결과 평균 결과의 정확도가 높아진다.
3.4 데이터 표현 변경
원본 이미지를 캡처한 후에 조정하면 최종 이미지가 크게 향상될 수 있다. 예를 들어, 비디오 대비 향상은 극한 조건에도 불구하고 이미지의 가시성을 제공할 수 있다. 또는 일반적으로 알려진 것 이상의 복잡한 기술을 사용하는 정확한 색상 처리로 고급 검사와 측정을 할 수 있다.
비디오 향상
카메라 개발자는 종종 업그레이드된 기능을 제공하기 위해 비디오 향상 옵션을 제공한다.
예를 들어 Adimec의 VEM(Video Contrast Enhancement Module)은 저대비 상태에서 성능과 정확도를 자동으로 향상한다. VEM 기술은 안개나 햇빛의 산란 때문에 흐릿한 대기의 영향을 제거한다. 이 기술을 사용하면 디테일이 보이지 않는 확산된 장면에서도 상세한 그림이 제공된다. 어두운 환경에서 자동 게인 제어는 일반 CCD 감도를 훨씬 뛰어넘는 화질을 제공한다.
VEM은 게인 제어와 블랙 레벨 제어, 노출 제어, 윤곽 보정과 같은 대비 향상의 중요한 측면을 자동으로 조정한다. 사용자가 활성 측정 창을 정의할 수 있도록 하는 등 필요한 만큼의 제어 기능을 제공하기도 한다.
이 밖에도 VEM은 AGC(Automatic Gain Control)와 AEC(Automatic Exposure Control) 기능과 함께 작동해서 이미지의 대비를 최대한 높인다.
색상 처리
색상 처리는 속도와 정확성 측면에서 많은 애플리케이션에 중요하다. 보통 카메라에서 수행하는 것이 가장 좋다.
바이어 패턴(Bayer pattern) 센서에서 각 픽셀은 바이어 기본 색상 3개(RB, GB, BB) 중 하나에 대한 데이터를 수집한다. 또는 서브 샘플링된 컬러 이미지 3개(RB, GB, BB)로 구성된다. 세 가지 각각에 대해 간격이 보간으로 채워진다. 이를 종종 데모사이싱(demosaicing)이라고 한다. 부적합한 데모사이싱은 색상 이미지에서 왜곡의 주요 원인 중 하나이다.
고급 카메라는 성공적인 데모사이싱을 위해 자체로 복잡한 보간 알고리즘을 사용한다. 보간 후 데이터는 각 픽셀에 대해 R, G, B 값이 있으므로 3배가 된다.
더욱 복잡한 알고리즘을 사용하면 각 픽셀에 대한 R, G, B 값의 데모사이싱 결과가 발생하지만, 결과 이미지는 사람의 눈으로 물체를 직접 보는 것처럼 정확하게 나타나지 않을 수 있다. 이 값은 다음 항목에 따라 다르다.
•조명 스펙트럼
조건은 더구나 실외 환경에서 다양하며 특정 효과가 있다. 예를 들어, 아침 햇살에는 빨간색이 더 많고 오후에는 파란색이 더 많다. 사람의 눈은 이를 자동으로 보정해서 시간이나 조명 조건에 관계없이 흰색 물체가 같게 보인다. 화이트 밸런스는 카메라에서 이 조정을 수행하는 기능이다.
•물체 반사 스펙트럼
물체에는 반사 파장이 있으며, 이는 입사 파장에서 반사되는 범위의 파장이다.
•카메라(또는 더욱 정밀한 이미지 센서)와 색상별 디스플레이 스펙트럼 감도
이미지 센서에는 고유한 스펙트럼 응답이 있다(그림 5).
이는 주어진 조명 스펙트럼에 대해 R, G, B의 비율이 있으며 전체 색상 범위를 생성한다. 사람의 눈도 그림 5와 비슷한 곡선을 갖지만 특성은 다르다. 마지막으로, 비디오 디스플레이에는 보상해야 하는 고유한 속성이 있다.
색상 처리는 개발자가 실제 장면을 직접 볼 때 가능한 한 화면 이미지에서 사람의 색상 인식에 가깝게 가져오도록 최적화된, 색상 재계산을 제공하려는 정교한 기능이다. Adimec은 채도와 보간에 의한 흐림 방지, 대비 향상, 감마 제어 기능을 포함한 독자적인 색상 재계산 알고리즘을 개발했다. 최종 결과는 실제 장면의 정확한 색 재현으로 선명한 이미지이다(그림 6a-c 비교).
4. 반복성 및 재현성을 위한 설계 및 제조
고성능 카메라 제조업체의 목표는 방해를 일으키거나 노이즈를 추가하지 않는, 잘 만들어진 전자 장치를 설계하고 구현하는 것이다. 기계 설계에는 폼 팩터 선택뿐만 아니라 정렬, 최종 테스트, EMC/EMI 제어, 보증과 같은 제조 중 중요한 절차도 포함된다.
설계 및 제조 결정은 다음 장에 더 설명되는 바와 같이 카메라의 반복성과 재현성에 중요하다.
반복성
이미지 균일성은 시스템의 정확도, 또는 수량의 실제(참) 값에 대한 수량 측정의 정도에 영향을 줄 수 있다. 그러나 측정 시스템의 정밀도(혹은 변경되지 않은 조건에서 반복 측정이 동일한 결과를 나타내는 정도)는 반복성과 재현성에 따라 다르다.
반복성에 대한 일반적인 정의는 한 사람이나 장비가 동일한 항목과 조건에서 측정한 값의 변동이다. 이는 카메라와 관련해서 온도나 시간 같은 조건을 변경했는데도 같은 결과를 생성하는 단일 카메라의 일관성을 나타낸다. 카메라의 일관성은 전체 시스템의 다운 타임이나 OEM에 대한 추가 소프트웨어 조정 시간을 줄일 뿐만 아니라, 더욱 복잡한 측정 알고리즘을 허용하도록 한다.
예를 들어, 검사 시스템에서 중요한 추세는 기존 2D 검사를 대체하거나 생산현장에 새로운 검사 가능성을 도입하는 3D 검사 시스템이 발전되는 것이다(예: Electronics Manufacturing의 3D AOI pre-reflow inspection 검사). 그 결과 생산 단계 결과를 중간에 확인하고, 이전 혹은 다음 제조 공정 단계를 잘 제어하기 위해 정확한 정보와 수치 매개변수가 생성된다.
3D 비접촉식 측정 방법은 광학 검사에 의존한다. 2D 이미징과 달리 3D 정보는 원칙적으로 테스트 대상 장치에서 여러 시야의 이미지를 획득해야 한다. 수집과 처리 단계에서 이미지의 일관성이 필수이다.
재현성
보통 재현성은 실험이나 연구를 독립적으로 일하는 다른 사람이 정확히 복제하거나 복제될 수 있는 능력으로 정의된다. 카메라와 관련해서 카메라 간 일관성이라고 한다.
재현성을 보장하는 방법 중 하나는 정밀한 센서 장착 혹은 정렬과 같은 기계적 프로세스이다. 센서는 6 자유도(3개의 평행 + 3개의 회전)로 배치돼 활성 픽셀이 카메라의 역학과 관련해서 항상 동일한 위치(특정 정의된 공차 범위 내)에 있도록 보장할 수 있다.
Adimec 카메라에서 달성되는 결과의 정확성과 품질의 핵심은, 센서 장착 혹은 정렬 과정에서 디테일에 주의를 기울이는 것이다. 또한 각 카메라는 엄격하고 개별화된 조립과 테스트 절차를 거쳐 모든 카메라의 일관성을 유지하기 위해 기계적 그리고 전기적으로 조정이 이뤄진다.
일련의 모든 카메라를 가능한 한 동일하게 만들기 위한 철저한 최종 테스트로 번번이 복잡한 정렬이 아닌, 더욱 간단한 툴 매칭과 드롭 인 교체, 자동 설정이 가능하다.
시스템 설정 시간을 단축하는 데 재현성이 중요할 뿐만 아니라 직접 교체로 수명주기 관리에도 도움이 된다. 적절한 수명주기 관리 방법이 없으면 제품 변경이 심각하게 중단될 수 있다. 예를 들어, 의료 장비 제조업체는 FDA 승인을 위해 많은 시간과 비용을 소비하며 방위 계약 업체는 광범위한 자격을 갖춰야 한다. 제품의 발전 과정에서 제품 일관성을 최대한 유지하는 것이 중요하다.
5. 인터페이스 옵션
카메라 제조업체는 일반적으로 카메라에서 다른 시스템에 이르기까지 여러 가지 인터페이스 연결 옵션을 제공해서 다양한 요구를 충족한다.
6. 요약
카메라를 선택할 때 고려할 다양한 요소가 있다. 이미지 센서는 시스템 성능에 직접 영향을 미치는 필수 구성 요소이지만, 카메라 공급 업체를 선택할 때 시스템 개발자가 평가해야 하는 다양한 기준과 기능이 있다.
카메라 제조업체는 이미지 결과에 영향을 줄 수 있는 다양한 디자인 결정을 내린다. 카메라 제작자는 최첨단 센서의 기능을 크게 향상하고 강화할 수 있으며 이미징 시스템에 필요한 장기적인 ROI를 제공할 수 있다.
자료 제공: Adimec(www.Adimec.com)
