화상 처리 시스템 기본 요소 ①
Basler
화상 처리 : 하나의 기술 영역과 다양한 양상
화상 처리 시스템은 제조, 제약, 교통 모니터링 및 감시를 포함한 다양한 애플리케이션에 사용된다.
조명 설치와 렌즈 다음으로 화상 처리 시스템에서 가장 중요한 연결고리는 디지털 카메라다. 디지털 카메라는 컴퓨터와의 통신을 통해 이미지 데이터를 처리하고 카메라 설정을 수정하기 위해 특별한 프로토콜을 이용한다.
산업용 화상 처리 카메라에 대한 요건은 애플리케이션에 따라 많은 차이가 있지만 모든 면에서 일반 디지털 카메라에서 익히 느껴왔던 것들과는 차이가 뚜렷하다. 핵심 요건은 감도, 다이내믹 레인지, 노이즈 레벨, 프레임 속도 및 해상도와 관련 있다.
카메라의 성능을 최대한 끌어올리려면 주변기기의 적절한 지원도 필수다. 때문에 검사 작업을 위한 적절한 렌즈와 조명 장비가 중요하며, 카메라 데이터 전송에 사용되는 인터페이스 역시 중요하다.
무엇이 필요한지에 대한 파악 : 필요조건 정의
화상 처리 시스템을 설계하려면 먼저 시스템이 어떤 조건에서 어떤 목표를 달성해야 하는지 생각해야 한다.
이 첫 번째 단계는 당연한 것으로 보이지만 건너뛰는 경우가 의외로 많다. 시작할 때 여유를 갖고 원하는 시스템을 꼼꼼히 검토해 봐야 한다. 단순해 보이는 절차가 나중에 시간과 비용을 크게 줄여 준다.
시스템이 사용되는 상황
- 검사 대상 물체의 이미지를 단순히 표시만 하는가 아니면, 예를 들어 사람의 눈에 보이지 않는 제품 특징을 확대하거나 특정 조명을 사용해 볼 수 있게 하는가?
- 대상 제품의 규격 및 부피와 같은 특징을 계산하는가?
- 자동 이송 및 분류 시스템에서와 같은 올바른 위치 지정 리뷰에 사용되는가?
- 제품을 구체적인 제품 등급으로 분류하기 위한 특성 파악에 사용되는가?
이와 관련된 다른 중요한 질문은 화상 처리 후의 절차와 관련된 것이다. 제품을 검사할 때 시스템의 도움을 받아 사람이 수행하는가? 이런 경우 속도는 그다지 중요한 역할을 하지 않으며 결국 사람이 결정하게 된다.
등급 자동 분류를 하거나 결함이 있는 부품을 리젝트하는 것은 매우 다른 상황이다. 최종 공정의 자동화 수준이 상승하면 화상 처리를 수행할 때 소프트웨어에서 규정할 수 있는 객관적 검증이 가능한 사양을 바탕으로 하는 것이 무엇보다 중요해진다. 자동검사 및 지속적인 처리 또한 사람이 이미지를 직접 사후 검사하는 경우에 비해, 시스템에 의한 보다 강력한 실시간 처리 수준이 필요하다.
두 번째로, 검사 대상 물체가 무엇인지, 화상 처리 작업을 올바로 처리하는 데 필요한 정밀도 수준이 어느 정도인지 명확히 파악하는 것이 중요하다. 물체를 측정하려 한다면 이미지 안에서 물체를 완벽히 감지해야 하며 이미지의 해상도가 감지하려는 오류 한계점 이상이어야 한다. 예를 들어 사과의 지름이 이상적인 사이즈에서 1cm 이상 편차를 보이는지 확인하려면 이미지에서의 해상도가 1cm보다 훨씬 작아야 한다.
물체의 배치 — 물체의 위치 또한 관심 대상이다.
- 이미지의 물체가 서로 선명하게 구분되는가?
- 페이퍼 롤과 같은 얇은 판으로 이루어진 제품인가?
- 먼저 분리해야 이미지에서 개별 요소를 식별할 수 있는 벌크 상품인가?
- 사진 촬영을 하는 동안 물체가 이동하는가? 만일 이동한다면 얼마나 빨리 이동하는가?(분류 시스템의 컨베이어 벨트에서의 이동 또는, 실제 생산 공정에서의 이동)
- 녹화하는 순간 물체가 정지 상태인가?(예를 들어, 자동 주입 장치에 의해 특정 위치에 보관됐는가?)
또 다른 기본 조건은 전체 FOV(Field of View) 즉, 분석해야 할 전체 대상 영역의 폭과 길이이다. 이것은 대개 컨베이어 벨트나 제품 자체의 폭 또는 검사 대상 물체의 부피로 규정된다. 아울러 카메라와 물체 사이의 최소·최대 거리와 같이 활용할 수 있는 물리적 공간에 제약이 있는지, 습도, 주변 온도 상승, 하락, 최대 에너지 소모량 등에 따라 다른 문제가 생기진 않는지 검토해야 한다.
마지막으로 전체 시스템을 고려해야 한다. 여기에서 중요한 것은 화상 처리 시스템이 생산 라인이나 분류 시스템과 같은 보다 큰 시스템의 일부인지 여부와, 시스템과의 인터페이스 구성 방식 또는 오프라인 장비인지의 여부다.
이와 같은 정보는 화상 처리 시스템을 용도에 맞게 최적화해 설계하는 데 있어서 매우 중요하다.
해상도 및 센서
용도에 따라 필요한 카메라는 무엇일까? 질문에 대한 답변은 카메라에 필요한 해상도 및 센서 사이즈를 도출하는 데 사용할 수 있다.
해상도가 의미하는 것은 정확히 무엇일까? 클래식 사진에서 해상도란 이미지 속에서 고유하게 식별할 수 있는 실물의 두 점 또는 두 선 사이의 최소 거리를 나타낸다.
디지털 카메라에 대해 얘기할 때 종종 ‘2백만 화소 해상도를 갖고 있다’는 식의 표현을 사용한다. 하지만 이는 해상도가 아니라 센서의 픽셀 숫자를 의미할 뿐이다. 실제 해상도는 카메라와 렌즈 및 기하학적 구조 즉, 카메라와 물체 사이의 거리로 이루어진 전체 시스템에 의해 결정된다. 더 높은 해상도는 더 많은 수의 픽셀이 필요하므로 픽셀 숫자와 큰 관련이 있을 수 있다. 이는 최적 조건 하에서 사용 가능한 최대 해상도를 나타낸다.
산업용 화상 처리에서 전체 시스템 해상도에 대한 테스트는 주로 단일 픽셀에 표현되는 검사 대상 크기 또는 면적으로 기술된다.
이 크기를 대개 ‘픽셀 해상도’라고 한다. 만일 카메라 픽셀에 한 면이 0.5mm인 사각형이 그려질 경우 픽셀 해상도는 0.5mm로 표현된다.
검사를 위해 구체적인 세부 정보를 사용할 수 있으려면 해상도가 세부 정보 크기보다 높아야 한다. 해상도가 세부 정보 크기와 같다면 세부 정보는 전체 픽셀로 재현되며 세부 정보의 어떤 구조도 식별할 수 없을 것이다.
이 픽셀 해상도는 본래 계산된 크기다. 또 하나 감안해야 할 점은 카메라 앞에 있는 광학 부품이 전달할 수 있는 최대 해상도이다. 달리 말해, 성능이 떨어지는 렌즈를 사용하면 카메라의 실제 해상도는 이론적인 픽셀 해상도보다 저하된다.
카메라가 촬영한 이미지에서 나중에 검토할 수 있는 전체 영역을 나타내는 FOV는 최소한 물체의 크기를 커버할 수 있어야 한다.
예를 들어 10mm 이내의 허용 오차로 측정해야 하는 경우 해상도는 허용 오차보다 훨씬 뛰어난 수준인 픽셀 당 0.5mm가 돼야 한다. 물체의 길이가 약 200mm일 경우 센서의 한 방향으로 최소 200mm/(0.5mm/pixel) = 400픽셀이 필요하며 이는 VGA 해상도 범위에 드는 것이다.
허용 오차와의 편차 대신 모양에서의 편차를 지정할 경우 또는 같은 해상도에서 여러 개의 물체를 동시에 검사해야 할 경우 요구조건은 더 많아진다.
이런 경우 카메라 센서에 필요한 픽셀 개수는 몇 배씩 증가할 수 있다.
해상도가 높아지거나 검사 범위가 넓어질수록 필요한 픽셀 숫자는 많아진다. 고해상도로 넓은 영역을 검사해야 한다면 여러 대의 카메라가 필요할 수 있다. 많은 경우, 까다로운 이미징 조건을 다룰 수 있는 특수 렌즈가 부착된 카메라 한 대보다는 표준 렌즈가 부착된 카메라 여러 대를 채택하는 편이 비용 대비 효과적이다.
센서 크기와 FOV를 통해 재생 비율(reproduction scale)을 계산할 수 있으며 이는 나중에 렌즈를 선택하는 데 중요한 역할을 한다.
라인 스캔 카메라는 이동 중인 물체나 판형 또는 롤형 물체를 검사하는 데 최적의 선택인 경우가 많다. 라인 스캔 카메라는 이미지를 한 줄씩, 다시 말해 픽셀 한 줄씩 기록한다. 카메라 밑에 있는 물체는 계속 이동되며 나중에 시스템의 뒷부분에 있는 컴퓨터 하드웨어에서 각 줄의 녹화 내용을 결합해 전체 이미지를 만든다.
고속으로 움직이는 물체의 경우 카메라 인터페이스 역시 해당 속도를 따라잡을 수 있어야 한다. 라인 스캔 카메라는 카메라에 특별한 취급 요건 또는, 트리거 조건이 존재하거나 특수 프레임 그래버가 필요할 때 자주 사용된다.
대부분의 경우 GigE 또는 USB 3.0과 같은 비용 대비 효과적인 표준 인터페이스가 장착된 에어리어 스캔 카메라면 충분하다. 여기에서도 다양한 해상도와 감도를 가진 고속 카메라를 사용할 수 있다. 아주 까다로운 작업을 포함해 많은 작업들을 이러한 카메라를 사용해 성공적으로 처리할 수 있다.
컬러 또는 모노크롬?
다음으로 해야 할 질문은 모노크롬 카메라가 필요한지, 아니면 컬러 카메라가 필요한지에 대한 것이다. 일반적으로 컬러 카메라가 꼭 필요한 것은 아니라고 해도 맞는 말이지만, 검수자 입장에서는 컬러로 이미지를 보는 것이 편한 경우가 많다.
사실적인 컬러 재현이 필수라면 컬러 카메라와 함께 반드시 백색 조명을 사용해야 한다. 컬러와 관련된 특성을 감지할 수 있다면(물체에 붉은 색 얼룩이 있는 경우와 같이) 항상 컬러 재현이 필요하지는 않다. 대부분의 경우 이러한 특징들은 컬러 조명을 사용하면 모노크롬 카메라의 흑백 이미지에도 나타난다.
특징 감지가 가능한지 파악하려면 적당한 샘플을 대상으로 한 실험이 필요하다. 컬러 카메라의 컬러 필터는 필연적으로 컬러 카메라의 감도를 모노크롬 카메라에 비해 저하시키므로 컬러가 관련이 없다면 모노크롬 카메라를 선택해야 한다.
서로 다른 조명이나 광학 부품이 필요한 매우 다른 특징들을 녹화하는 경우와 같은 보다 복잡한 검사 작업을 위해서는 여러 대의 카메라를 채택할 필요도 있다.
카메라를 통해 얻을 수 있는 다른 자료 : 카메라 기능 및 화질
카메라를 선택할 때 픽셀 개수만 고려해선 안 된다. 화질과 카메라 기능 역시 중요하다.
디지털 카메라의 화질을 설명할 때는 해상도 이외에도 세 가지 요소가 필수다.
- 광 민감도 : 광 민감도가 커질수록 필요한 빛의 양이 감소한다. 조명은 비교적 저렴한 부품에 속하는 경우가 많기 때문에 고감도 카메라는 주로 외부 요인으로 인해 추가 광원을 설치할 수 없을 경우에만 사용한다.
고속 프레임 속도 또는 움직임을 포착해야 하는 등의 이유로 카메라의 노출 시간을 짧게 해야 하는 경우에도 높은 광 민감도가 필요하다.
- 다이내믹레인지 : 다이내믹레인지가 넓을수록 다양한 조명 조건에서 우수한 이미지를 얻을 수 있으며 매우 어둡거나 밝은 영역이 생기는 장면에서도 자세한 이미지를 보여준다. 이러한 기능의 카메라를 흔히 HDR 또는 WDR(high 또는 wide dynamic range)로 광고한다.
- 신호 대 잡음 비 : 카메라의 잡음 수준은 판별 신호에 비해 낮아야 한다. 이 특성은 어두운 환경에서 특히 중요하다.
카메라 기능 중 가장 중요한 것은 속도다. 흔히 fps 또는 초당 프레임 수라 한다. 초당 녹화할 수 있는 이미지 최대 개수를 나타낸다.
그 밖의 기능으로는 자동 노출 시간 및 게인 조절과 자동 화이트 밸런스 기능이 있다. 화상 처리 시스템의 경우 이미지 동기화 또는 시스템의 다른 부품을 이용한 고속 처리를 위해 카메라에 외부 실시간 지원 트리거 입력을 일시 중지시키는 기능이 필요한 경우가 많다.
카메라의 눈 : 기준점 및 이미지 품질
우수한 광학 제품은 가격이 비싸다. 많은 경우 일반 렌즈도 웬만한 용도에 사용하기 충분하다. 정말 필요한 것이 무엇인지 파악하려면 다음과 같은 몇 가지 변수를 확인해야 한다.
- 렌즈 마운트
- 픽셀 크기
- 센서 크기(인치 단위로 측정하며 TV 촬상관의 지름을 의미한다. 카메라 제조업체의 데이터시트에 1인치 센서로 표기돼 있으면 이는 대각선 길이가 16mm임을 나타낸다.)
- 검사 대상 object field의 대각선 길이(항목 크기)에 해당되는 센서의 대각선 길이(이미지 크기) 비율로 나타내는 배율. 이는 또한 개별 픽셀 크기를 픽셀 해상도로 나눈 비율에 해당된다.(픽셀 해상도는 카메라 센서의 픽셀 한 개를 정교하게 채우도록 했을 때 검사 대상 물체의 사각형 가장자리 길이를 나타낸다.)
- 배율과 렌즈와 카메라 간 거리를 결정하는 렌즈의 focal width
- 빛을 모을 수 있는 능력을 나타내는 렌즈의 최대 구경 또는 ‘속도’
이 내용은 비용 대비 효과적인 일반 렌즈면 충분할지, 아니면 고가의 제품이 필요한지를 초기에 평가하기 위해 렌즈 제조업체의 데이터시트를 검토하는 데 유용하다.
왜곡, 해상도(MTF 곡선으로 표현), 색수차 및 렌즈의 최적 스펙트럼 범위를 포함한 렌즈의 특성을 고려하는 것이 중요하다. 근적외선용 특수 대물렌즈, 초광각 렌즈(어안 렌즈) 또는 길이 측정을 위해 특수 설계된 텔레센트릭 렌즈를 예로 들 수 있다. 하지만 특수 렌즈는 가격이 비싸다.
까다로운 애플리케이션 또는 데이터시트에서 누락된 사양과 관련된 의문점을 해결하기 위해서는 샘플 촬영에 대한 테스트와 주요 검사가 필수이다. <다음호에 계속>
자료 제공: Basler(www.baslerweb.com)
