3D 비행시간, 스테레오,활성 스테레오 작동 원리 비교

Sick

서문

거의 모든 산업 분야가 디지털화되어가는 지금, 일상적인 작업에서 사람과 기계를 센서가 지원하는 모습은 어디서나 찾아볼 수 있다.

3D 스냅샷 카메라는 주변 환경의 상세한 3D 이미지를 한 번에 감지하는 비전 센서이다. 이 풍부한 3D 정보 덕분에 유인 차량 및 자율 차량의 충돌 방지, 자동 팔레타이징, 상품 치수 측정, 픽 앤 플레이스(pick-and-place) 프로세스 로봇 안내 등 광범위한 자동화 및 지원 작업이 가능하다.

그러나 3D 스냅샷 카메라 마다 사용되는 기술이 다르기 때문에 근본적으로 다른 물리적 원리가 적용되고, 어떤 3D 스냅샷 카메라를 선택하느냐가 성능을 크게 좌우한다. 또한 산업, 현장 및 과제에 따라 기술 요구 사항과 주변 조건이 크게 달라진다.

SICK Visionary 포트폴리오에는 3D 스냅샷의 세 가지 주요 기술인 3D 비행 시간(time-of-flight), 스테레오 및 활성(active) 스테레오를 지원한다. Sick는 본 백서를 통해 독자에게 이러한 3D 스냅샷 기술과 그 특성 및 용례에 대한 기본적인 기술 정보를 제공하고자 한다.

3D 스냅샷 기술: 특화된 전문 영역

로봇암이 형태와 색상을 기준으로 상품을 분류한다. 지게차가 자동으로 팔레트를 픽업하고 경로 상의 장애물을 영리하게 피해 간다. 인더스트리 4.0의 일부이자 거의 모든 산업 분야에서 급증하고 있는 자동화와 디지털화가 가져올 인상 깊은 현실의 한 장면이다. 위와 같은 활동이 가능하려면 무엇보다도 물체의 위치와 모양을 결정할 수 있는 기계의 눈 역할을 하는 지능형 3D 카메라가 필요하다.

3D 스냅샷 기술을 이용하면 눈 깜짝할 사이에 3D 및 2D 이미지가 스냅샷 하나에서 생성된다. 따라서 3D 스냅샷을 통해 다양한 자동화 과제를 빠르게 해결할 수 있다. 예를 들어 AGV(automated guided vehicle, 자동 가이드 차량) 또는 사람이 운전하는 대형차가 가장 가혹한 야외 조건에서도 주변 환경을 실시간으로 3D 캡처하고 탐색하고, 사람을 따라가며 장애물을 우회할 수도 있다.

3D 스냅샷 기술을 기반으로 하는 카메라는 정적 장면과 동적 장면 모두에서 3D 이미지를 캡처하기에 충분한 속도 및 기능을 갖추고 있다. 빠르고 정확하게 화물 치수를 측정해야 하는 물류 허브나 컨베이어 벨트 등에 완벽한 솔루션이다. 그 뿐만 아니라 디팔레타이징, 자동 밀킹 같은 자동화 과제에도 이 기술들을 활용할 수 있다.

이러한 애플리케이션 및 환경에서 뛰어난 유연성을 발휘할 수 있는 것은 기존 3D 스냅샷 카메라 유형과 차별화되는 기술 덕분이다. SICK의 광범위한 Visionary 포트폴리오에 세 가지 주요 기술이 모두 포함되어 있으므로 산업 파트너는 단일 소싱의 혜택을 누릴 수 있다.

본 백서는 3D 스냅샷 기술의 세 가지 유형인 3D 비행 시간(“3D ToF”), 3D 스테레오비전(“스테레오”) 및 3D 구조광 스테레오비전(“활성 스테레오”)의 기술적 기본 원리를 소개한다. 기본적 작동 원리를 이해하면 기술 중립적 관점에서 산업용 3D Machine Vision마다 가장 적합한 솔루션을 찾는 데 도움이 될 수 있다.

3D 스냅샷 카메라는 주변 환경의 상세한 이미지를 제공한다. 이를 바탕으로 3D 및 2D 인식, 데이터 스트리밍, 감지, 위치 지정, 안내, 점검, 측정이 필요한 다양한 자동화 과제를 마스터한다. 장면을 스캔하여 깊이 정보를 얻는 기술과 비교할 때, 3D 스냅샷 카메라에는 카메라 내부에서 기계적으로 작동하는 부품이 필요 없다.

센서와 장면 간 상대적 움직임도 필요 없다. 따라서 3D 스냅샷은 수집 속도와 동적/정적 장면에 대한 적합성 면에서 큰 이점이 있다. 단일 이미지 샷으로도 풍부한 3D 데이터 세트를 제공하기에 충분하다.

여기에는 거리 이미지와 (기술에 따라) 2D 그레이 스케일 적외선 강도 이미지, 컬러 이미지, 추가 정보(예: 신뢰도, 상태 지도)가 포함된다. 이 데이터의 과제별 프로세스가 센서의 지능을 좌우한다. 따라서 사용자가 원하는 경우 센서는 주어진 과제에 대하여 간결한 맞춤형 답변을 바로 제공한다. 3D 스냅샷 카메라의 세 가지 주요 유형은 이러한 특징을 공유하면서도 작동 원리는 크게 다르다. 따라서 다른 환경에 따른 성능을 발휘한다.

애플리케이션마다 강점을 보이는 기술이 있다. SICK는 현재 알려진 애플리케이션을 대부분 해결할 수 있는 3D 스냅샷 기술을 모두 보유 중이다. 따라서 SICK 제품으로 누릴 수 있는 특별한 이점이 있다. 기술적으로나 경제적으로 중립적인 평가를 바탕으로 최적의 애플리케이션 컨설팅을 받을 수 있다. 이 세 가지 3D 스냅샷 기술을 직접 비교함으로써 고객은 개별 애플리케이션에 가장 적합한 기술을 항상 찾을 수 있다.

3D 비행 시간(“3D ToF”): 다목적, 넓은 감지 범위, 안정적 정밀도

3D ToF 카메라는 주어진 시야 범위 전체에 적외선 신호를 방출하며, 이는 주변의 모든 물체에 반사된다. 물체 거리는 “비행 시간”, 즉 단기 송신광 펄스(“펄스형 3D ToF”)의 실행 시간을 직접 측정하거나 연속 방출 진폭 변조 광파의 송신광 대 반사광 간 위상 변이를 계산함으로써(“위상 변이 기반 3D ToF”) 결정된다.

두 3D ToF 기술에는 몇 가지 차이가 있다. 예를 들어 위상 변이 기반 3D ToF는 여러 주파수에서 작동하므로 카메라 간 혼선을 쉽게 피할 수 있다. 또한 신뢰도 값과 같은 추가 정보도 추정할 수 있다. 그러나 이러한 차이가 카메라 성능에 미치는 영향은 카메라가 얼마나 잘 디자인되었고, 얼마나 잘 제작되었는지에 달려 있다. 따라서 공정한 비교를 위해서는 카메라 대 카메라 평가가 필요하며, 이는 본 백서의 범위를 벗어난다.

활성 광원(active light source)은 3D 비행 시간 특성을 결정하는 중요한 요소이다. 활성 광원은 3D ToF 카메라가 명암이나 주변 조명이 없는 장면(예: 완벽한 흰색 벽, 어두운 하이베이 창고)에서도 작동하게 해준다. 또한 활성 조명(active illumination)은 감지 허용 범위가 넓다는 장점이 있다.

감지 범위 안에서 3D ToF 거리 측정 정확도 및 정밀도가 거리에 대하여 선형 거동(linear behavior) 정도의 낮은 종속성을 보인다. 비교적 큰 작업 범위를 요구하는 과제에서 이는 큰 이점이다.

장면으로 방출되는 조명 전력은 카메라까지의 거리에 따라 2차적으로(quadratically) 감소한다. 따라서 대상 물체와의 거리가 멀수록 더 많은 조명 전력이 필요하다. 이 전력은 눈에 대한 안전 규정에 따른 제한을 받는다. 따라서 물체와의 거리가 멀어지면 3D 데이터 품질이 떨어진다.

3D ToF 이미저(imager)의 분해능는 지난 몇 년간 계속 증가했으며 조만간 1메가픽셀이 새로운 표준이 될 것이다. 그러나 측면 분해능는 아직 2D 이미저(imager)만큼 높지 않다.

활성 조명은 적외선 송신광과 강한 환경광의 상호 작용을 의미하며, 이로 인해 깊이 정보가 부분적으로 손실될 수 있다. SICK의 3D 스냅샷 카메라 Visionary-T Mini에는 고효율 레이저 조명(VCSEL: vertical-cavity surface-emitting laser, 수직 구멍 표면 광방출 레이저)이 장착되어 있다. 덕분에 카메라가 높은 환경광 견고성과 더불어 어두운 물체에 대한 탁월한 감지 능력을 보여준다.

우수한 환경광 견고성을 위해서는 레이저 에미터의 적외선 스펙트럼도 잘 선택해야 한다. 일반적인 파장은 850nm 또는 940nm이고, 후자는 햇빛(sun light) 스펙트럼에 대해 더 안정적으로 작동한다.

다른 카메라와 마찬가지로 장면 조건(예: 물체의 확산 반사율 및 거리), 환경광(ambient light) 조건에 따라 영상 수집 시간을 조정할 수 있다. 동적 장면에서는 모션 블러 효과가 발생하기 쉽고 영상 수집 시간도 길어지는 경향이 있다.

3D ToF는 장면의 명암이나 질감과 무관하게 3D 환경의 상세한 적용 범위, 즉 높은 데이터 밀도를 구현해낸다. 그러나 물체 표면과 재질의 차이로 인해 확산 반사율이 달라지면 깊이 측정에 영향을 미친다. 물체에서 반사되는 빛에 따라 깊이 계산이 달라진다.

거울이나 안전 조끼처럼 원치 않는 빛을 강하게 반사하는 물체에서는 “다중 경로 효과”가 발생할 수 있다. 반사로 인해 비행 시간이 길어져서 측정 깊이가 과도하게 계산된다. 카메라 내부에서도 원치 않는 반사가 일어날 수 있다. 카메라 자체의 광학 장치에 빛이 반사되어 또 한 번 3D 측정 품질이 저하될 수 있다. 3D ToF의 물리적 원리에 따라 온도가 3D ToF 측정 정확도에 영향을 줄 수 있다. 하지만 일반 동작 온도에서는 우수한 카메라 열 관리 디자인과 교정을 통해 이를 보정할 수 있다.

3D ToF 기술이 근적외선 스펙트럼에서 작동하므로 2D 적외선 그레이 스케일 이미지를 수집할 수 있다. 이 적외선 이미지는 장면의 일반 2D 그레이 스케일 이미지와 매우 유사하므로 분할 알고리즘과 같은 이미지 추가 가공에 이용할 수 있다.

3D 스테레오 비전(“스테레오")

두 개의 눈, 물체 분류, 가혹한 야외 환경

스테레오 카메라는 “양안 원리”라는 입체경 원리를 이용하여 3D 이미지를 수집한다. 사람의 눈으로 보는 것과 유사하게 스테레오 카메라는 동일한 장면을 약간 다른 각도에서 보는 동기화된 카메라 두 대에서 3D 이미지를 얻는다. 각 눈으로 캡처한 이미지 간 차이를 통해 거리값을 계산한다. 시야각이 약간 다르므로 두 이미지에서 동일한 물체의 위치가 조금씩 달라진다. 마치 엄지손가락을 얼굴 앞에 대고 왼쪽 눈과 오른쪽 눈을 교대로 감았을 때 “점프”하는 것 같은 효과이다. 격차를 계산하려면 두 이미지를 맞춰보아야 한다.

즉, 알고리즘이 좌우이미지에서 해당 지점들을 검색하여 둘을 중첩시킨다. 두 개의 스테레오 이미지에서 3D 이미지를 생성하려면 3D ToF 데이터 세트보다 많은 계산을 해야 한다. 또, 동일한 물체의 그림자가 이미저(imager)마다 달라져서 가운데 물체의 양쪽에 그림자가 생길 수 있다. 적외선 스펙트럼을 이용하는 3D ToF 카메라가 달리 스테레오비전은 가시 스펙트럼에서 깊이 이미지와 (종종 컬러 이미지인) 2D 이미지를 동시에 수집한다. 이렇게 하면 2D와 3D 데이터를 함께 등록할 때 이미지 프로세싱 옵션 및 데이터가 더 많아지는 장점이 있다.

예를 들어 안정적인 물체 분류 알고리즘이 가능해진다. 2D 비디오 스트림을 실시간 디스플레이할 수 있으므로 유인 차량의 충돌 인식 시스템 또는 다양한 품질 점검 과제 등에 유리하다.

이러한 종류의 스테레오 기술은 환경광이 3D 이미지를 수집하기에 충분하고, 내부 활성 광원은 사용하지 않기 때문에 “수동” 스테레오라고도 한다. 장면에 존재하는 명암만을 기반으로 깊이 정보가 계산된다. 따라서 장면의 질감에 따라 스테레오 카메라의 데이터 밀도가 달라진다.

결과적으로 균질한 표면에서는 스테레오 카메라의 격차 계산 알고리즘이 어려움을 겪는다. 확연한 특징 및 랜드마크가 부족하여 두 이미지에서 해당 지점을 식별하기 어렵기 때문이다. 따라서 흰색 벽처럼 명암이 적거나 없는 표면에서는 데이터 일부가 손실될 수 있다. 실외 환경에서는 이런 저질감 화면이 많지 않다. 하지만 깨끗하게 바닥을 새로 깐 공장 홀과 같은 실내에는 있을 수 있다

환경광에 대한 다이내믹 레인지가 높아서 실외용 솔루션으로 완벽하다는 것도 스테레오 기술의 장점 중 하나이다. 예를 들어, 강한 직사광선과 매우 낮은 조명 조건이 공존하는 야외 상시 작동에서 조명 상황의 변화는 스테레오 기술에 방해가 되지 않는다.

햇빛의 영향을 받는 활성 광원과 달리 스테레오 기술은 햇빛에 더 안정적으로 작동한다. 반면 외부광에 절대적으로 의존하는 시스템이기 때문에 완전한 암흑에서는 작동이 불가하다. 스테레오 기술의 또 다른 장점으로는 가장 가혹한 환경 요인에서도 고내성을 발휘하는 하드웨어 디자인을 들 수 있다. 센서 안에 활성 광원이 없는 SICK Visionary-B 제품군을 예로 들면 스테레오 카메라의 주변 온도 허용 범위가 넓고, 활성 조명으로서 충격과 진동에 대한 내성이 아주 높아 장치 안에 열원과 기계 장치를 추가 설치할 필요가 없다. 환경광만 이용해서 이미지를 수집하므로 광업, 건설, 농업에서 흔히 발생하는 안개, 비, 먼지 등 실외 조건에 데이터가 덜 민감하게 반응한다.

서로 다른 기준선(두 렌즈 간 거리)과 초점 거리(카메라 초점 거리를 결정함)를 이용하여 유연하게 광학 장치를 구성할 수 있으므로 지정된 작동 거리에서 높은 데이터 품질을 얻도록 스테레오 카메라를 디자인할 수 있다. 그러나 카메라까지의 거리가 최적의 지점을 벗어날수록 격차가 감소하므로 깊이 분해능이 낮아진다. 그 결과, 깊이 정확도가 급격히 떨어진다. 하지만 스테레오 카메라는 환경광만 필요로 하므로 일반적으로 3D ToF나 활성 스테레오보다 작동 거리 및 범위 면에서 아주 유리하다.

최첨단 고분해능 2D 이미저(imager)를 사용하여 고분해능 3D 이미지로 스테레오 카메라를 구성할 수도 있다. 그러나 깊이 이미지에서 특정한 측면 분해능을 구현하려면, 두 눈의 시야가 겹치는 지점에서만 격차 및 깊이 정보를 파악할 수 있음을 감안해야 한다. 아울러, 격차 알고리즘이 본질적으로 물체 에지를 흐릿하게 만드는 경향이 있음도 고려해야 한다. 원하는 측면 깊이 해상도를 얻으려면 이미저(imager)의 적절하게 높은 물리적 분해능으로 이 두 가지 효과를 보완해야 한다. 최첨단 이미저(imager) 한 쌍에 이러한 계산 능력까지 더하면 스테레오 시스템의 성능 대비 비용이 높아질 수 있다.

3D 구조광 스테레오비전(“활성 스테레오”)

근거리에서 최고의 분해능와 정밀도

활성 스테레오 카메라는 앞에서 설명한 입체경 원리에 점 패턴 같은 구조광을 방출하는 활성 적외선 광원을 결합한 기술이다. 넓은 설원을 바라볼 때를 상상하면 이 구조광이 왜 필요한지를 명확히 이해할 수 있다. 뚜렷한 명암이나 구조가 없는, 이런 넓은 표면에서는 인간의 3D 시각 능력이 떨어진다. 앞에서 설명한 것처럼 스테레오 카메라의 격차 계산 알고리즘에도 같은 문제가 있다.

활성 스테레오 비전은 장면의 균일한 조명을 이용하지 않고 구조광을 장면에 투사함으로써 이 문제를 영리하게 극복한다. 장면의 질감과 무관하게 보다 안정적이고 정밀하게 두 이미지 간 격차를 식별하게끔 패턴이나 구조가 디자인되어 있다. 따라서 구조광을 투사하여 깊이 측정 정확도를 높이고, 균일한 표면에서도 깊이 값을 수신할 수 있다. 또한, 활성 스테레오 카메라는 스테레오 카메라와 달리 광원이 통합되어 있으므로 완전한 어둠 속에서도 작동할 수 있다.

그러나 3D ToF처럼 활성 스테레오 시스템에서 방출되는 적외선 구조광 또한 강한 환경광의 영향을 받을 수 있다. 일례로, SICK Visionary-S의 환경광 견고성은 최대 40klux이다. 그러나 중요한 차이점이 있다. 적외선이 카메라에 더 이상 보이지 않더라도 장면이 완전히 균일하지 않다면 주변 환경 명암에서 격차를 추론해낼 수 있다. 그러면 스테레오 시스템으로 작동하면서 거리 측정을 할 수 있다. 스테레오 기술보다 활성 조명에 대한 추가 비용이 더 들어간다. (몇 미터 정도로) 작동 거리가 짧은 애플리케이션에서는 활성 스테레오 카메라가 3D ToF 카메라보다 탁월한 깊이 분해능을 보여준다.

소프트웨어 정의 센서

3D ToF, 스테레오, 활성 스테레오라는 세 가지 3D 스냅샷 기술을 통해 광범위한 애플리케이션이 이미 성공적으로 해결되었다. 세 가지 기술의 작동 원리는 각기 다르지만, 주위 환경의 고밀도 2D 및 3D 정보를 생성한다는 공통점이 있다. 센서 속성은 소프트웨어적 특성인 데이터 분석 및 프로세싱을 통해 정의된다. 따라서 최고의 유연성 및 맞춤 구성을 실현하려면 유연하고 적응력이 뛰어난 카메라 소프트웨어가 있어야 한다.

SICK의 Visionary-T AP, Visionary-S AP 또는 Visionary-T Mini AP(출시 예정) 같은 장치 내장형 3D 스냅샷 카메라 이미지 프로세싱 기능을 이용하면 사용자가 센서에서 독립형 애플리케이션을 실행하고, 에지에서 특정 애플리케이션 요구에 따라 조정된 스마트 3D 데이터 프로세싱하도록 프로그래밍할 수 있다. 또한 카메라에 상용 기성품 물류 소프트웨어 앱 솔루션을 장착 가능하므로 현재 요구되는 유연성 및 간결성을 동시에 충족할 수 있다. SICK는 이를 소프트웨어 정의 센서라고 부른다. 지금까지 설명한 세 가지 기술의 주된 차이를 정성(qualitative) 분석한 내용이 아래 표에 요약되어 있다.

요약: 3D Vision 과제의 스펙트럼을 넓혀주는 3D 스냅샷 카메라

본 백서에서는 3D 스냅샷 기술의 세 가지 주요 유형인 3D 비행 시간(“3D ToF”), 3D 스테레오비전(“스테레오”), 3D 구조광 스테레오비전(“활성 스테레오”)의 기술적 기본 원리를 검토했다. 그러나 각 자동화 요건에 가장 적합한 3D 기술을 찾기 위해서는 단순한 기술 수준을 넘어서는 애플리케이션 기반 비교가 필요하다. 무엇보다도 먼저 고려해야 할 애플리케이션별 요소로는 마운팅 위치와 공간, 대상 물체까지의 거리, 필요한 분해능, 주변 조건(예: 빛, 진동, 강수), 물체 표면 속성, 원하는 데이터 크기와 형식, 과제 복잡성, 가용 예산을 들 수 있다.

3D ToF는 감지 범위 전반에 걸쳐 안정적 정밀도를 보이고 활성 조명을 갖추고 있어 팔레타이징 및 디팔레타이징, 물체 감지, 컨테이너 레벨 측정, 치수 과제, 침입 감지 등 다양한 애플리케이션에 사용할 수 있는 다재다능한 후보이다. Visionary-T 같은 SICK 3D ToF 제품군은 충돌 방지 등 AGV 애플리케이션에 적합하다. AGV 주행 상태에 따라 작동 중에 쉽게 조정 가능한 AGV 시야 내 개별 3D 감지 볼륨 등 AGV 전용 특징을 지니고 있다(예: 저속, 고속, 좌회전, 우회전 구역 차별화). 산업용 수준의 고내성을 갖추고 있으므로 실내뿐 아니라 창고 사이의 다소 그늘진 영역 같은 “반” 실외 작동에도 적합하다.

주변 조건이 매우 가혹하고 더러운 환경에서는 일반적으로 스테레오 센서가 3D ToF보다 더 안정적인 성능을 발휘한다. 이러한 가혹한 실외 환경에 흔히 사용되는 산업용 대형차는 사각 지대가 넓어 작업자와 기반 시설 모두에 큰 위험 요인이다. SICK Visionary-B로 충돌 인식 시스템을 구현하면 차량의 넓은 3D 사각 지대가 없어지므로 작업 안전이 보장되고 손실 비용을 줄일 수 있다. 지능형 물체 인식이 가능하여 오경보를 막고 운전자에게 활성 경보를 보내는 고내성 솔루션이다. 기타 일반적인 스테레오 애플리케이션으로는 농업(예: 물체 분류, 라인 안내), 레벨 감시, 건설 현장이나 탄광(예: 자동 충돌 방지), 항만(예: 가이드 컨테이너 피킹)을 들 수 있다.

활성 스테레오 기술은 짧은 거리에서 높은 측정 정확도와 정밀도가 요구되는 애플리케이션에 특히 유용하다. 구조화 조명을 이용하여 균일한 표면에서도 탁월한 깊이 값을 얻을 수 있다. 일반적 자동화 과제로는 소비재 또는 상자 같은 물체를 치수와 색상으로 구별하는 것을 들 수 있다.

SICK의 활성 스테레오 카메라 Visionary-S는 이 깊이 정보를 센서의 RGB 컬러 이미지와 병합한다. 품질 제어 또는 치수 측정 같은 작업에서 3D 스냅샷 기술을 이용하면 정적 및 동적 장면 모두에서 스캔 없이도 3D 정보를 얻을 수 있다. 활성 스테레오는 일반적으로 근거리 및 중간 거리에서 높은 깊이 분해능를 요하는 과제에 사용된다. 일반적인 예로는 빈피킹, 위치 지정, 팔레타이징, 디팔레타이징과 같은 로봇 안내 애플리케이션이 있다.

세 가지 3D 스냅샷 기술의 애플리케이션 사례

저자  
Nadja Nagel 박사
애플리케이션 엔지니어 – 3D 콤팩트 시스템 / SICK AG Waldkirch/독일

Fabian Zimmer 박사
애플리케이션 엔지니어 – 3D 콤팩트 시스템 / SICK AG Waldkirch/독일

Anatoly Sherman 박사
제품 관리 및 애플리케이션 엔지니어링 책임자 – 3D 콤팩트 시스템 /

SICK AG Waldkirch/독일

자료 제공: SICK(www.sickkorea.net)