고성능 표준 CMOS 센서를 적용한 3D 머신비전의 비약적 발전 눈길

3D 이미징 기술은 수십년 전에 등장했다. 첫 번째 제품은 최신 HD 비디오 카메라에 사용되었으며, 그 이후로 속도·정확도 및 3D 이미징 해상도 측면에서 비약적으로 발전했을 뿐 아니라 소비자 시장뿐만 아니라 머신 비전 산업에서도 광범위하게 채택되었다.

인더스트리 4.0혁명이 도래함에 따라 복잡한 물체 인식, 치수 측정을 위한 정확도 및 거리 측정 측면에서 2D 비전의 한계와 인간/로봇 동거와 같은 복잡한 상호 작용 상황에서의 한계로 인해 3D비전의 필요성이 증가하고 있다.

3D 비전은 공장 자동화 시장에서 로봇/기계 시스템의 자율성과 효율성을 높인다. 2D 비전이 제한되는 더 높은 정확도의 품질 검사, 리버스 엔지니어링 및 객체 치수 지정에 필수적이기 때문이다. 또한 비전 시스템 유도 로봇의 사용이 증가하고 있으며 더 나은 원격 안내, 장애물 인식 및 정확한 이동을 위해 3D 비전이 필요하다.

3D 비전은 또한 위험한 상황을 방지하고 해결하는 시스템과 로봇이나 물체로부터 사람을 세고 구별할 수 있는 감시 시스템을 통해 공장의 작업자를 인간/기계 상호작용으로부터 보호한다. 3D 비전은 최종 사용자를 위한 보다 안전하고 성능이 우수하며 효과적인 지원 시스템을 만드는 능력으로 사회에 영향을 미치고 있다. 예를 들어, 3D 비전은 자율 주행 차량, 협업 로봇 등의 고급 자동차 보조 운전자 시스템을 가능하게 한다.

그럼에도 불구하고, 바코드 및 OCR 스캐닝에는 2D 이미징이 계속 사용된다. 블록체인 채택을 통해 배치가 증가하고 있는 공장및 창고와 주문 처리 센터 및 운송 분야에서 눈부신 성장을 주도하는 전자 상거래 붐에서 필수적인 역할을 한다.

3D 이미지를 얻기 위해 여러 기술이 존재한다.

• 스테레오 비전: 두 대의 카메라가 사용되며 물체에 대한 서로 다른 관점으로 장착되며 보정 기술을 사용하여 카메라간에 픽셀 정보를 정렬하고 깊이 정보를 추출한다. 이것은 우리의 뇌가 시각적으로 거리를 측정하는 방식과 유사하다.

• 구조화된 조명: 알려진 조명 패턴이 물체에 투사되고 패턴이 물체 주변에서 왜곡되는 방식으로 깊이 정보가 계산된다.

• 레이저 삼각 측량: 레이저 삼각 측량 시스템은 카메라와 레이저 소스를 페어링하여 3차원 측정값을 캡처할 수 있다. 레이저와 카메라 사이의 알려진 각도 오프셋으로 인해 시스템은 삼각법을 사용하여 레이저 라인의 기하학적 오프셋을 측정한다. 이 기술은 물체의 스캐닝을 기반으로 한다.

• Time-of-Flight: 광원이 이미지 센서와 동기화되어 빛의 펄스와 센서로 다시 반사되는 빛사이의 시간을 기준으로 거리를 계산한다. 각 기술에는 장단점이 있으므로 대상 애플리케이션에 따라 일부는 다른 것보다 더 적합하다.

<그림1> 레이저 삼각 측량 응용 사례

현재 점점 더 많은 3D 시스템이 3D 스테레오 비전, 구조광 카메라 또는 레이저 변위를 기반으로 배포된다. 이러한 시스템은 고정된 작동 거리에서 작동하며 특정 감지 영역에 대해 상당한 보정 노력이 필요하다. Time-of-Flight 시스템은 이러한 문제를 극복 하고 애플리케이션 관점에서 더 많은 유연성을 제공하지만 대부 분은 여전히 이미지 해상도에 제한이 있다.

Teledyne e2v는 라인 스캔 카메라와 영역 스캔 센서 모두에서 머신 비전 분야에서 성공을 거둔 실적을 보유하고 있으며 이제 3D 이미징 전용 플랫폼을 구축했다. 이는 비전 가이드 로봇, 물류 자동 가이드 차량(AGV), 공장 감시 및 안전, 휴대용 스캐너 및 실외 애플리케이션과 같은 최신 산업 애플리케이션을 지원한다.

3D 비전으로 생산성 향상
 

공장은 제품 검사 및 재고의 모든 주기에서 생산성을 높이고 시간과 비용을 절약하기 위해 자동화된다. 이러한 요소를 최적화하려면 비전 시스템이 있는 기계가 더 빠른 속도와 더 나은 성능으로 작동해야 한다. 결과적으로 2D 비전은 제한적이지만 3D 비전은더 높은 정확도의 품질 검사, 리버스 엔지니어링 또는 객체 치수 지정을 위해 광범위하게 배포된다. 레이저 삼각측량 기술은 3축에 필요한 고해상도로 인해 초고속 센서가 요구되기 때문에 이러한 유형의 응용 분야에서 일반적으로 사용된다.

공장의 자율성과 효율성 향상
 

공장 자동화의 자율성과 효율성을 향상시키기 위해 자율 안내 로봇의 사용이 증가하고 있다. 공장과 창고가 점점 더 자동화됨에 따라 워크스테이션은 인간과 기계 간의 집중적인 협업을 통해 예방과 안전이 더욱 중요해졌다. 이러한 예측 불가능한 작업 환경에서 ToF 시스템은 실시간 3D 정보 및 의사 결정 기능과 빠른 장면 내에서 물체 또는 사람을 감지하는 기능으로 인해 이상적이다.

ToF 기술에 대해 이야기할 때 Direct ToF 및 Indirect ToF의 두가지 방법이 있다:

• Direct ToF: 시스템은 빛이 물체에서 반사되는 데 걸리는 시간을 직접 계산하여 거리를 측정한다.

• Indirect ToF: 시스템은 광파가 물체로 방출될 때와 반사될 때의 위상 차이를 계산하여 거리를 측정한다. 이를 통해 시스템은 3D 맵을 구축할 수 있다.

<그림2> Direct ToF와 Indirect ToF의 장단점

복잡한 작업을 처리하기 위한 ToF
 

다른 3D 기술과 비교하여 ToF 시스템은 빠르고 간단하며 저렴할뿐 아니라 중장거리에서 우수한 3D 성능을 제공한다. 앞서 언급한 바와 같이 ToF 시스템은 매우 유연하기 때문에 설정에 따라 보정할 필요가 없다. 이에 따라 움직이는 로봇에 시스템을 장착할수 있다. 또한 이 시스템은 복잡한 환경 및 조건에서 작동하기에 적합한 ToF 시스템을 만드는 모든 작동 설정에 맞게 조정할 수 있다. 위의 <그림3>은 ToF가 가장 적합한 공장 및 창고 애플리케이션의 몇 가지 예를 보여준다.

• 상자 또는 패키지의 크기 및 부피 측정: ToF 이미징 시스템은 가장 효율적인 팔레타이징 또는 컨디셔닝을 얻거나 효율적인 제품 라인을 위해 상자/패키지의 크기 및 부피를 측정할 수 있다.

• 지능적이고 효율적인 창고 관리를 위한 상품 식별: ToF 이미징 시스템은 기존 2D 이미지 처리보다 짧은 시간에 패키지의 상품 또는 치수를 감지한다.

• 픽 앤 플레이스: ToF 이미징 시스템은 매우 높은 수준의 정확도로 기존의 2D 이미지 처리보다 짧은 시간에 올바른 위치에 픽앤 플레이스할 올바른 물체를 감지하고 식별한다.

<그림3> ToF 적용 사례

오늘날 대부분의 내비게이션 시스템은 기존의 Lidar 스캐너를 사용하여 물체를 감지하지만 몇 가지 단점이 있으며 간접 ToF 와 같은 대체 기술로 점점 더 많은 솔루션이 등장하고 있다. 기존 Lidar 스캐너와 비교하여 간접 ToF 시스템은 빠른 응답 시간과 모션 아티팩트로 실시간 이미지 정보를 제공할 수 있다. 또한 더적은 전력과 계산을 사용하는 솔리드 스테이트 설계이기 때문에 기계 부품이 포함되지 않고 더 저렴하고 더 견고하고 컴팩트하다.

<표1> 기존 LiDAR와 간접 ToF 비교

앞서 언급한 애플리케이션에서 ToF 시스템은 많은 문제를 해결한다. 이 시스템은 10m에서 시작하는 단거리 및 중장거리를 모두 처리해야 할 뿐만 아니라 모션 아티팩트없이 빨라야 한다. 또한 로봇이 공장/창고 전체를 이동하고 같은 영역에 있는 다른 로봇의 간섭 없이 작동해야 하기 때문에 시스템은 여러 변화하는 조명 조건에 노출될 수 있다.

이러한 모든 까다로운 조건을 처리하기 위해 Teledyne e2v는 2020년 7월에 Hydra3D 센서를 출시했다. 동급 최고의 이 ToF 센서는 혁신적인 픽셀과 매우 높은 동적 범위를 제공하는 매우 유연한 구성을 갖추고 있으며, 높은 깊이 해상도, 고속 및 유연한 작동 조건을 포함하여 최고 수준의 3D 성능을 허용한다.

또한 Hydra3D에는 3D 이미지를 구축하는 데 필요한 3단계를 동시에 획득할 수 있는 혁신적인 멀티탭 픽셀이 있어 모션 아티팩트 없이 빠르게 움직이는 장면에서 정확한 3D 정보를 캡처할 수있다.

3탭 픽셀은 다른 간접 ToF 기술에 필요한 여러 프레임 대신 단일 프레임에서 3D 맵을 재구성하는 데 필요한 여러 단계의 정보를 캡처하고 저장하는 기능을 제공한다. 이것은 빠르게 움직이는 장면에서 모션 아티팩트를 피하는데 특히 강력하다. 2D 비전에서 글로벌 셔터 모드를 롤링 셔터 모드와 비교하는 것과 비슷하다. 3 탭 픽셀은 광 펄스의 단일 열로 모든 단계를 캡처할 수 있어 광 전력을 최적으로 사용한다.

<그림5> 모션 블러 vs. 모션 아티팩트

모션 아티팩트와 모션 블러의 차이는 2D 비전에서 롤링 셔터와 글로벌 셔터의 차이와 비슷하다. 모션 블러는 빠르게 움직이는 개체를 약간 왜곡할 수 있지만 잘못된 정보를 제공하지 않는 반면, 모션 아티팩트는 개체의 모양을 크게 변경하고 잘못된 측정을 제공하여 일부 응용 프로그램에서 큰 결과를 초래할 수 있다.

Hydra3D 센서의 다른 이점은 구성의 유연성과 여러 온칩 기능이다. 예를 들어, 높은 프레임 속도와 결합된 강력한 온칩 HDR 기능 및 유연한 구성을 통해 거리 범위, 물체 반사율, 프레임 속도 등을 절충하고 주변광에 강건할 수 있다. 단일 트리거에서 Hydra3D는 일련의 획득 및 판독을 시작하고 쉽게 프로그래밍할수 있으므로 각 애플리케이션의 조건에 적응할 수 있는 매우 강력한 도구가 된다.

다중 측정 시퀀스를 사용하면 단일 트리거 내에서 서로 다른 거리 범위에서 또는 서로 다른 정밀도로 측정하거나 2D 캡처를 수행할 수 있다. 게다가 시퀀스는 센서를 정지시키지 않고 실시간으로 프레임에서 프레임으로 변경할 수 있다.

강력한 다중 ToF 시스템 작동을 위한 고유한 온칩 기능을 통해 동기화되지 않은 시스템이 서로 간섭하지 않고 동시에 작동할 수있다. ToF에는 능동 조명이 필요하기 때문에 한 시스템에서 동일한 영역에서 동시에 작동하는 다른 시스템에서 방출되는 빛으로 인해 간섭이 발생하여 잘못된 거리 측정으로 이어질 수 있다.

CCD 채택 시대의 ToF
 

ToF 이미지 처리는 기존의 2D 비전 시스템보다 훨씬 더 복잡하다. 여기에는 애플리케이션 요구 사항에 완벽하게 맞추기 위해 여러 매개변수(예: 센서 또는 시야, 공장 내 보정, 특정 센서 구성)에 의존하는 광학 및 조명 시스템이 포함된다.

설정의 복잡성으로 인해 센서를 통합하기 위해 시스템 수준에서 상당한 노력이 필요하므로 애플리케이션 설정을 숙달해야 하는 필요성이 중요해지기 때문에 ToF 센서를 CCD 센서와 자주 비교한다.

ToF CMOS 센서에 대한 전문 지식과 고객과의 긴밀한 협력을 바탕으로 Teledyne e2v는 ToF 시스템에 내재된 문제를 평가하는 데 확실한 경험을 얻었다. 고객이 출시 시간을 단축하고 애플 리케이션 요구 사항에 맞는 최고의 ToF 시스템을 얻을 수 있도록 CMOS 이미지 센서 및 맞춤형 카메라 모듈에서 전체 시스템 통합 지원에 이르기까지 다양한 기술 솔루션을 제공한다.

여기에는 평가 플랫폼의 참조 설계, 조명 및 광학 평가, 눈 안전 고려 사항, 모델링 및 시뮬레이션, 알고리즘 및 보정이 포함된다.

자료제공: Teledyne e2v(imaging.teledyne-e2v.com)