화상처리 애플리케이션에 대한 2D와 3D의 장점 및 단점

Basler

화상 처리 애플리케이션에서 3차원이 점점 더 중요해지고 있다. 본문에서는 시장에서 가장 인기 있는 3D 기술을 설명하고 이와 관련된 장점과 단점을 요약해 제시하며 애플리케이션에서 3차원이 가치가 있는지 여부를 가늠할 수 있는 세부적인 기준을 소개한다.

1. 2D 카메라 기술

에어리어 스캔 및 라인 스캔 카메라는 2D 카메라 기술로 이용할 수 있다. 에어리어 스캔 카메라는 분석할 장면을 단일 이미지로 캡처하는 반면 라인 스캔 카메라는 스캐닝 프로세스를 이용해 이미지가 한 줄씩 녹화된다. 선택된 카메라 모델에 따라 장면은 모노크롬 또는 컬러 이미지(예: RGB값)로 표현된다.

1.1 애플리케이션 분야

2D 화상 처리는 애플리케이션이 높은 컨트래스트를 제공하거나 피사체의 구조 및 컬러가 최종 결과에 중요한 영향을 주는 경우 적합하다. 지금은 화상 처리 업무에서 2D가 주로 사용되고 있다. 2D 카메라 애플리케이션은 포지셔닝, 탐지, 측정 및 판독과 같은 화상처리의 모든 분야에서 일반적으로 찾아볼 수 있다. 2D 카메라의 일반적인 애플리케이션 분야에는 다음과 같은 것들이 포함된다.

•부품 대조를 통한 물체의 조립 상태 검사
•높이 값이 거의 없는 아주 평평한 물체의 형태와 치수 탐지.
•물체 오염 탐지- 특히 생산 라인에서 바로 하는 통합 검사에서의 오염 탐지
•컬러 및/또는 인쇄 품질 평가(예: 포장 바코드)
•컬러 또는 각인에서 명확히 차이가 나는 제품의 분류
•회로기판 납땜 검사

2. 3D 카메라 기술

뒤의 번호 4번에서 자세히 설명하게 될 몇 가지 기술을 이용해 물체 및 장면을 3차원으로 캡처할 수 있다. 2D와 3D 기술을 구별하는 기준이 되는 특성은 물체의 X 값과 Y 값을 표시하는 데 더해 녹화된 장면 또는 물체의 깊이 값도 제공된다는 것이다. 이것은 특히 로봇 공학, 공장 자동화 및 의료 부문에서 복잡한 작업을 해결하기 위한 완전히 새로운 가능성을 열어준다. 이제는 3D 솔루션 없는 엔터테인먼트 분야를 상상하는 것이 거의 불가능하며 영화 제작에서 가상현실과 3D 데이터를 사용하는 트렌드로 인한 새로운 애플리케이션 범주가 점점 늘어나고 있다.

2.1 애플리케이션 분야

3D 화상 처리는 특히 물체의 부피, 형태 또는 3D 위치를 분석할 때 사용된다. 깊이 정보는 2D로는 충분한 대조가 어렵지만 높이에 상당한 차이가 있는 물체 및 결함 이미지 검사 작업을 취급하는 데 사용할 수도 있다.

3D 카메라의 일반적인 애플리케이션 분야에는 다음과 같은 것들이 포함된다.

•지게차와 같은 산업용으로 사용되는 자율주행 차량의 장애물 및 "사람들"의 통행 탐지.
•컨베이어 벨트에서 로봇이 제어하는 그리핑(gripping) 작업 또는 빈 피킹(bin picking)
•빈/상자에 들어 있는 물체 탐지, 검사 및 개수 확인(배경에 비해 아무런 대조도 되지 않는 경우도 가능)
•회로 기판에서 부품의 위치 및 존재 검사
•폭넓은 종류의 물체 부피 측정
•육류 분리와 같은 식품 분할

2D 기술이 지금까지 화상 처리 시장에서 중요한 역할을 맡아왔지만 3D 솔루션으로의 전환 추세는 계속 커가고 있다. 앞으로 수년 안에 3D 화상 처리는 점점 더 중요해질 것이며 가장 큰 원인은 Industry 4.0과 자동화증가 추세가 될 것이다.

3. 2D와 3D, 3차원이 업무 수행에 도움이 될까

검사 작업을 수행하기 위해 2D와 3D 카메라 기술 중 무엇을 사용해야 할지는 여러 가지를 고려해 처음부터 결정해야 한다. 일부 애플리케이션에서는 필요한 것이 무엇인지 아주 명확하기 때문에 이 질문에 대한 답을 쉽게 찾을 수 있다. 하지만 일부 다른 애플리케이션에는 2D 뿐 아니라 3D 기술도 사용할 수 있다.

최상의 솔루션을 선택하기 전에 먼저 아래의 사항을 이해해야 한다. 원하는 작업에 2D와 3D 솔루션 중 어느 것을 이용할 것인지 확인하려면 기준 목록을 확인하고 애플리케이션에 관해 다음 항목을 검토하는 것이 도움이 된다.

4. 가장 인기 있는 3D 기술 개요

2D 화상 처리에서 애플리케이션에 따라 상호 보완적인 역할을 하는 에어리어 스캔 카메라 및 라인 스캔 카메라를 사용할 수 있는 것과 같이 3D 화상 처리도 다양한 기술을 제공한다.

현재 가장 자주 사용되는 기술은 다음과 같다.

•스테레오비전 및 구조형 광(structured light)
•레이저 삼각 측량
•ToF(Time-of-Flight) 카메라

각각의 기술들은 3차원을 기록하기 위한 다양한 원리를 바탕으로 하고 있으며 각각 다양한 장단점을 갖고 있다. 여기에서도 기술은 서로 보완적인 역할을 하며 관련 애플리케이션의 요구 사항에 따라 가장 적합한 기술이 결정된다. 이 부분에 대해서는 다음에서 좀 더 자세히 다룰 것이다.

4.1 스테레오비전 및 구조형 광(structured light)

스테레오비전은 사람의 두 눈과 같은 원리에 따라 작동한다. 하나의 물체에 대한 2D 이미지 두 개를 촬영하기 위해 카메라 두 대가 사용된다. 서로 다른 두 곳에서 같은 장면을 촬영하고 깊이 정보를 결합해 삼각 측량을 통해 3차원 이미지로 만든다.

스테레오비전은 두 개의 일반 2D 에어리어 스캔 카메라로 찍은 이미지 데이터를 이용해 장면을 위한 깊이 값을 제공한다. 이미지는 카메라 위치 및 애플리케이션의 기하학적 지식을 바탕으로 보정된다. 보정 후, 좌우 이미지에서 상응하는 점들을 찾아주는 매칭 알고리즘이 사용되며 장면의 깊이 이미지가 생성된다. 이 프로세스가 작동하는 작동 거리는 카메라 간 거리인 기준선에 좌우되기 때문에 다양하다.

스테레오 시스템의 성능 향상을 위한 한 가지 옵션은 스테레오 솔루션에 구조형 광을 추가하는 것이다. 장면에 기하학적 밝기 패턴을 투사하는 광원을 사용하면 측정 결과가 더 정밀해지고 균일한 표면과 낮은 조도로 인한 입체 영상의 단점이 크게 감소한다. 프로젝터를 카메라로 보정하면 심지어 두 번째 카메라 사용을 피할 수도 있다.

4.1.1 스테레오비전의 장점과 단점

+ 짧은 범위에서 높은 정확도를 확보할 수 있음
+ 2D 에어리어 스캔 카메라 사용 가능
+ 햇빛 노출이 문제가 되지 않음
+ 반사가 심한, 소위 비우호적인 표면에도 문제가 되지 않음
- 균일한 표면에서는 작동하지 않음
- 낮은 조도에서는 작동하지 않음
- 높은 컴퓨팅 파워가 필요해 실시간 기능 수행이 어려움

4.1.2 구조형 광의 장점과 단점

+ 짧은 범위에서 높은 정확도를 확보할 수 있음
+ 2D 에어리어 스캔 카메라 사용 가능
+ 햇빛 노출이 문제가 되지 않음
+ 반사가 심한, 소위 비우호적인 표면에도 문제가 되지 않음
- 컴퓨팅 부하가 높아 실시간 기능 실행이 어려움
- 복잡한 설치 및 높은 설치 비용으로 인해 전체 시스템 비용이 높음

4.1.3 스테레오비전 및 구조형 광의 일반적인 애플리케이션 분야

스테레오비전을 통해 상당히 높은 정확도를 확보할 수 있다. 비우호적인 표면은 스테레오비전에 중요한 문제를 야기하지 않지만 피사체에 항상 몇 개의 참조 부호 또는 랜덤 패턴이 항상 필요하다. 이는 이 기술이 생산 환경에 사용하기에는 적합하지 않음을 의미한다.

스테레오비전은 공업, 서비스 또는 로봇 시스템 애플리케이션을 위한 피사체 및 작업 공간의 좌표 측정 기술, 3D 측정, 그리고 위험하거나 사람이 접근할 수 없는 작업 영역의 3D 시각화에서도 자주 찾아볼 수 있다. 스테레오 시스템은 제재소에서 나무 줄기를 측정하고 검사하는 것과 같은 실외에서의 사용에도 매우 적합하다. 하지만, 높은 처리 부하, 복잡한 설치 및 비용 상승을 감당할 수만 있다면 구조형 광이 추가될 경우 스테레오비전은 물체 측정과 같은 특정 산업용 애플리케이션용으로도 활용할 수 있다.

4.2 레이저 삼각 측량

레이저 삼각 측량 프로세스는 2D 카메라와 레이저 광원을 조합해 사용한다. 이 과정에서 레이저는 라인 또는 점을 카메라 앞의 장면에 투사한다. 레이저 라인 또는 점은 카메라 앞의 피사체에 표시되고 2D 카메라에 의해 녹화된다. 물체를 가로지른 카메라 이동 또는 컨베이어 벨트를 통한 물체 이동으로 인해 측정한 물체와 센서 간의 거리가 바뀌면 카메라 이미지에서의 위치와 함께 레이저 라인 또는 점이 관찰되는 각도가 변경된다. 광원에서 물체까지의 거리는 수학을 이용해 이미지 내에서의 좌표로부터 계산된다.

4.2.1 레이저 삼각 측량의 장점과 단점

+ 매우 높은 정확도
+ 까다로운 조명 여건이 문제가 되지 않다.
+ 거울면 또는 반사가 심한(비우호적인) 표면에도 문제가 되지 않음
- 물체에 대해 필요한 레이저 스캐닝으로 인해 느림
- 짧은 작동 거리
- 높은 정확도를 얻으려면 아주 비싼 부품을 사용해야 함
- 복잡한 설치 및 높은 설치 비용으로 인해 전체 시스템 비용이 높음
- 안전 조치를 취하지 않을 경우 눈의 안전이 보장되지 않음

4.2.2 레이저 스캐너의 애플리케이션 분야

레이저 삼각 측량은 극한의 정확도가 요구되는 애플리케이션에서 항상 최고의 선택이다. 또한 조명 여건이 좋지 않은데다 반사가 심한 비우호적인 표면일 경우에도 레이저 삼각 측량을 선택하는 것이 바람직하다. 밀리미터 미만의 범위에서 반사가 아주 심한 금속 피스를 측정하는 것이 레이저 삼각 측량의 전형적인 애플리케이션이다. 컨트라스트가 거의 제공되지 않는 유리병 분류가 또 다른 예가 될 수 있다.

4.3 ToF(Time-of-Flight) 방식

ToF(Time-of-Flight) 방식은 깊이 데이터를 얻고 거리를 측정하는 아주 효율적인 기술이다. ToF 카메라는 픽셀마다 그레이 값으로 표시되는 강도 값, 그리고 물체와 카메라 사이 거리, 즉 깊이 값이라는 두 종류의 정보를 제공한다.

ToF(Time-of-Flight) 프로세스를 사용하는 방법은 연속파와 펄스 ToF(Time-of-Flight) 프로시저의 두 가지가 있다. 연속파 ToF(Time-of-Flight) 프로세스는 밝기 변조 광원을 위한 위상 길이 측정을 바탕으로 한다. 이 방식은 성숙되어 있고 표준 전자 기기들을 지원한다. 이 프로세스에 사용된 센서들은 비교적 크고 저해상도에서만 작동한다.

펄스 ToF(Time-of-Flight)는 수많은 개별 광 펄스의 여행 시간을 바탕으로 거리를 측정한다. 이를 위해서는 +/- 1cm 범위의 정확도를 갖는 아주 빠르고 정밀한 전자 기기들이 필요하다. 이제 기술적 진보로 인해 정밀한 광 펄스 생성 및 해당 펄스의 정확한 측정을 합리적 비용과 높은 분해능으로 수행할 수 있다. 그래서 뚜렷한 고해상도로의 전환 추세와 더불어 지금 펄스 ToF(Time-of-Flight) 방식이 앞으로 빠르게 발전하게 될 이유이다. ToF 카메라는 작동 부품이 없는 컴팩트 시스템이며 다음 부품들로 구성되어 있다.

•능동형 통합 광원
•통합 렌즈 및
•ToF(Time-of-Flight) 센서

광원은 광 펄스 또는 연속적인 빛을 보낸다. 이 빛은 물체에 부딪힌 뒤 카메라로 반사된다. 내장된 렌즈는 반사된 빛이 센서에 도달하도록 보장한다. 간단히 설명해 개별 픽셀 간 거리와 깊이 값은 빛이 센서에 다시 도달할 때까지 여행하는 데 걸린 시간을 기준으로 계산된다. 이 프로세스는 분포도/깊이 맵을 단순하면서도 실시간으로 그려내고 동시에 기록된 강도 및 신뢰도에 대한 이미지도 제공한다.

4.3.1 장점과 단점

+ 장면이 한 번에 녹화되며 스캔할 필요가 없다.
+ 빠른 속도
+ 멀티 파트 이미지의 2D와 3D 정보
+ 높은 X/Y 해상도
+ 작동 부품이 없는 컴팩트 시스템
+ 낮은 조도에서의 우수한 성능
+ 눈 보호 기능 제공
+ 구조 또는 컨트래스트가 필요하지 않음
+ 충분히 강한 광원으로 넓은 작동 거리 지원
+ 저렴한 전체 시스템 비용
+ 높은 실시간 성능
- 거울면 및 반사가 심한(비우호적인) 표면에서는 문제가 생김
- 산란광에 민감함
- 햇빛 아래에서 사용하기 어려움

4.3.2 일반적인 ToF(Time-of-Flight) 애플리케이션 분야

ToF(Time-of-Flight) 카메라는 넓은 작동 거리, 빠른 속도 및 낮은 복잡도가 필요한 애플리케이션용으로 적합하다. 이러한 특성들이 필요하고 낮은 예산이 밀리미터 단위의 정확도보다 중요하다면 펄스 ToF(Time-of-Flight) 기술이 올바른 선택이다.

물류, 적재 및 이동 작업에서의 부피 측정, 그리고 물류 환경에서의 차량 자율 주행은 ToF 카메라용으로 적합하다. 또한, 의료 분야에서는 환자의 포지셔닝 및 모니터링을 위한 새롭고 흥미로운 ToF 카메라용 작업도 있다. 공업 분야에서 ToF 카메라 장착 시스템은 상대적으로 낮은 깊이 정밀도로 인해 커다란 물체의 픽앤플레이스 애플리케이션과 같은 일반적인 작업에 적합하다. 이 시스템은 자동차 생산에서의 로봇 제어 시스템이나 대형 물체의 측정 및 위치 탐지용으로도 사용할 수 있다.

5. 등록된 3D 기술의 비교

4번에서 명백히 밝혀진 바와 같이 3차원이 필요한 모든 비전 애플리케이션을 하나의 기술로 해결해 줄 수 있는 완벽한 3D 기술은 존재하지 않다. 최적의 기술을 선택하기 전에 항상 요구 사항을 고려해야 한다. 다음 표에는 애플리케이션의 주요 기준과 관련한 개별 기술의 성능이 표시되어 있다.

6. 내 애플리케이션에는 어떤 3D 기술이 적합할까

모든 애플리케이션에 맞는 완벽한 단일 솔루션은 존재하지 않다. 이것이 애플리케이션별로 요구 사항과 적절한 기술 관점에서 새로운 평가가 필요한 이유이다. 먼저 솔루션에 필요한 기술이 2D인지, 아니면 3D인지 결정해야 한다. 3차원이 필요한 솔루션을 선택할 경우 애플리케이션 요구 사항과 관련 3D 기술의 장점 및 단점에 따라 적합한 기술을 선택해야 한다. 애플리케이션을 위한 기준 및 기본 조건들을 다시 요약하는 것이 중요하다. 기본 조건 및 요구 사항을 기록하면 조금이라도 검토해야할 기술을 결정하기가 쉬워진다.

다음 항목을 명확히 해야 한다.

•내 애플리케이션에는 어느 정도의 정확도가 필요할까?(mm 미만, mm 또는 cm)
•물체의 표면 상태는 어떨까?(우호적/비우호적)
•시스템이 충족시켜야 할 작동 거리 종류는 무엇일까?
•시스템에 필요한 속도는 얼마일까?
•시스템이 실시간 기능을 지원해야 할까?
•설치 및 설정을 위한 요구 사항은 무엇일까? 설정이 복잡할 수 있거나 구현 및 통합이 아주 쉬워야 할까?
•애플리케이션을 위한 전체 예산은 얼마일까? (총 소요비용)
•개별 구성 요소로서 3D 솔루션을 위한 최대 비용은 얼마일까?
•애플리케이션을 실내에서 사용할까, 아니면 햇빛에 직접 노출된 실외에서 사용할까?

가장 중요한 요구 사항을 기록한 뒤 가장 핵심적인 사항을 찾기 위해 우선순위를 결정해야 한다. 이를 위해서는 스스로 다음의 질문을 던져보는 것이 가장 좋다. ‘꼭 필요한 것은 무엇이고 2순위인 것은 무엇일까? 다른 기술의 장점이 단점을 배제할 만한 가치가 있을까?’

7. 요약

화상 처리 기술을 선택할 때 올바른 솔루션을 찾아냈다는 것을 100% 확신할 수 없다. 또한 2D와 3D 기술 중에서 확실한 단일 솔루션이 없는 경우도 있다. 화상 처리를 위한 애플리케이션은 개별적으로 결정을 해야 할 만큼 복잡할 때도 있다. 애플리케이션별로 차이가 있기 때문이다.

2D와 3D 중에서 선택하는 것은 적합한 기술을 결정하기 위한 첫 단계이다. 이 선택이 확정된 뒤에야 어떤 2D 카메라(예: 에어리어 스캔 카메라 또는 라인 스캔 카메라) 또는 어떤 3D 기술이 가장 적합한지 결정할 수 있다. 여기에서는 투자의 전체 비용을 고려하는 것이 중요한다. 개별 구성 요소는 저렴해 보여도 시스템 및 소프트웨어 솔루션 설치에는 많은 비용이 들 수 있다.

화상 처리 솔루션 개발에서 3D 수요는 계속 증가하고 있다. 이러한 증가는 특히 Industry 4.0 및 자동화로 인한 것이다. 기존 2D 솔루션들도 3차원에서 혜택을 볼 수 있으며 시스템을 보다 효율적으로 만들 수 있다는 점도 고려해야 한다.

자료 제공: Basler(www.baslerweb.com)