3D 머신 비전의 기초 ②

Zivid

레이저 삼각측량 등 4가지 사용 방식

현대 3D 머신 비전에 활용되는 4가지 기술(Laser triangulation, Stereo vision, Time-of-flight, Structured light)은 두 가지 방식인 시간 영역(Time-domain) 기반 혹은 공간 영역(Spatial-domain) 기반으로 분류할 수 있다.

이러한 기술들은 비슷한 목표를 달성하기 위해 노력하고 있으며, 각각 다른 기술보다 특정분야에서 더욱 강한 강점을 가지기도 한다. 그리고 이러한 기술들 모두 유용한 3D 비전시스템에 필수적이고 중심적인 능력을 가지고 있다. 이러한 기술들은 고객의 요청사항과 요청사항에 가장 적합한 유형의 시스템을 이해하고 추천하기 위해 필요하다. 때로는 몇 가지 기술들의 조합이 가장 최선의 해결책이 될 것이다.

위 기술로 만든 비전 시스템이 생성하는 3차원 정보를 ‘포인트 클라우드’라고 한다. 포인트 클라우드는 2차원의 사진보다 피사체에 대해 더 상세하고 높은 이해가 가능하게 도와주지만, 주변 조명, 가림, 시야, 장애물, 그림자 및 매우 어둡거나 빛을 반사하는 피사체를 촬영할 때는 여전히 문제가 존재한다. 3D 비전은 머신 비전 분야에 꼭 필요하지만 모든 문제를 해결해 준 것은 아니다. 이제 3D 비전 시스템에서 현재 사용되는 4가지 방식에 대해 자세히 살펴본다.

레이저 삼각측량 방식(Laser triangulation)

 • 장면의 물체에 비친 레이저 라인의 변화가 물체에의 높이에 비례

 • 외부 요인으로 비교적 간섭이 적은 강력한 레이저 광원

 • 간단한 측정 원리

 • 사용자 맞춤 설정이 간편함

 • 컨베이어 시스템에 매우 적합

 • 장면을 가로지르는 스캔 모션이 필요함

 • 색상 정보가 없음

라인 레이저(line laser)는 카메라와 함께 사용 가능한 활성 광원(Active light source)이다. 이 기술은 잘 알려져 있고, 사용이 간단하고, 저렴하며, 빠르고, 매우 높은 정확도를 자랑한다. 레이저 삼각측량 방식은 가장 인기 있고 일반적으로 사용되는 3D 이미징 기술 중 하나이며, 광범위한 범위 실내 촬영과 실외 촬영에도 많이 사용한다.

레이저 삼각측량 기법 또는 레이저 프로파일 스캔(laser profiling) 기술은 범위가 좁은 레이저가 움직이는 피사체를 이동하는 것을 포함한다. 카메라와 레이저 이미터(laser emitter)가 정해진 각도로 설치되어 있고, 물체가 통과할 때 이미터에서 나온 레이저의 반사된 빔을 기록한다. 이러한 과정들이 반복하여 기록된 값으로 물체의 3D 포인트 클라우드를 생성한다.

레이저 사용의 특별한 장점은 사용 및 기록하는 레이저의 파장이 주변 백색광이 만드는 빛의 파장과 영역대가 다르기 때문에 노이즈를 최소화할 수 있다.

그러나 이러한 장점 때문에 발생한 단점도 있다. 레이저는 단색 광원이기 때문에 색상에 대한 정보를 얻을 수 없다. 또한 포인트 클라우드를 생성하기 위해 단일 레이저가 물체를 위아래로 반복적으로 스캔해야 하기 때문에 속도도 상당히 느리다. 레이저삼각측량 방식은 레이저 장치가 고정되고 움직이는 컨베이어벨트를 스캔하는 방식으로 많이 사용되고 컨베이어 밸트 위를 물체가 천천히 지나갈 때 스캔한다.

비행시간 측정방식(TOF,Time-of-Flight)

 • 발사된 빛이 반사되어 돌아오는데 걸린 시간을 측정

 • 시간의 지연(펄스)과 위상의 변화를 감지

 • 시간을 ‘기준, baseline’으로 활용

 • 가림(Occlusion) 없이 잠재적으로 사용 가능

 • 넓은 측정 범위 (수 백 미터 이상)

 • 매우 빠른 촬영 속도(real-time 비디오 속도)

 • 반사에 매우 민감함

 • 절대 정확도의 제한

 • 일반적으로 sub-HD 해상도 제공

3D 이미지에 대해 공간 영역의 접근 방식이 아닌 시간 영역 접근 방식을 선택한다면, ToF 레이저 스캐너가 효과적으로 기준선을 제거한다. 발사된 레이저 빛과 물체 표면에서 반사된 레이저 빛 사이의 시간 지연을 측정함으로써 정확한 거리를 얻을 수 있다.

Time-of-flight 시스템에는 3 가지 방식이 있다.

펄스 레이저 광 시스템(Pulsed laser light systems)은 방출된 레이저 펄스와 수신된 레이저 펄스 사이의 시간 지연을 측정한다. 레이저의 속도가 일정함과 펄스의 지연된 시간은 거리에 정비례하므로, 상대 위치가 결정된다. 빛의 속도를 고려할 때, ‘timeline’이 짧아지고 더 줄어든 기준선과 정밀도가 줄어듦을 상상할 수 있다.

위상 기반 시스템(Phase-based systems)은 방출된 레이저의 사인파를 변조하여 장치에서 방출되는 파동과 물체에서 반사되는 파동 사이의 위상 차이를 측정하는 방식으로 거리를 측정한다. 일반적으로 펄스 기반 시스템에 비해 더 긴 시간이 필요하지만 더 높은 정밀도를 제공한다. 단점은 측정 범위가 좁고 햇빛 및 반사 등 주변 조명에 대한 민감도가 높아진다는 것이다. 빛이 여러 경로를 통해 물체에 도달할 수 있기 때문에 측정된 거리가 실제거리보다 긴 경우도 발생할 수 있다.

비행시간 측정방식(ToF)카메라는 3D의 이미지를 실시간으로 캡처하기 위한 새로운 기술을 대표한다. 이러한 카메라는 매우 빠르며, 한 점이 아닌 전체 이미지를 캡처하며, 일반적으로 비디오 주파수 이상의 강도 및 범위 데이터를 제공한다.

근적외선(Near-infrared, NIR) 빛은 장면을 비추는데 사용되며, 각 픽셀에 내장된 상관회로에 있는 센서에 의해 장면에서 반사된 근적외선 빛의 위상을 측정한다. 위상의 이동은 이동거리에 비례하므로 각 픽셀에서 장면의 해당 지점까지의 거리를 측정할 수 있다. 마찬가지로 각 픽셀에서 방출된 레이저 펄스와 수신 펄스 사이의 시간 지연을 찾기 위한 펄스 기반 타이밍 회로가 포함되어 있다.

TOF 카메라는 제조가 복잡하고, 해상도가 낮은 경우가 많다. 디자인의 복잡성, 빛의 물리학, 측정 원리의 특성 때문에 TOF 카메라는 측정거리 10m 이내에서 구조광 측정방식보다 이론적으로 정밀도가 낮다. 10m 이상에서는 TOF 시스템의 정밀도가 좋을 수 있다. TOF 시스템은 자동차거리 측정 및 비전 기반 안전 시스템에서 상당한 평가를 받고 일부 사용되고 있다.

거리 측정에 시간을 사용할 때의 장점 중 하나는 픽셀 수준의 처리를 수행할 수 있다는 것이다. 앞에서 논의한 것처럼 데이터의 영역이 공간적인 이웃에 퍼져 있는 대신, 시간이 지남에 따라 같은 픽셀에 기록된다고 상상해본다. 모든 계산은 픽셀 수준에서 수행되며, 공간적인 이웃의 분석을 피함으로써, 정밀도를 높이고 블록 노이즈 및 공간 해상도 손실을 방지할 수 있다.

TOF 시스템은 특정 상황에서 몇가지 이점을 가지고 있지만, 이 측정 방법은 현재 상당히 비싸고 칼라 이미지를 제공하지 않는다.

구조광 방식(Structured light)

 • 프로젝트 패턴

 • 장면의 물체에 대한 왜곡/변화가 깊이에 대한 정보 제공

 • 표면의 질감이 필요하지 않음

 • 단일 패턴 - 빠른 처리

 • 영역 기반 대응

 • 블록 평균화

구조광 방식(Structured light)의 기술은 레이저 삼각측량 방식과 유사하지만 상당히 정교하고 훨씬 더 많은 정보를 제공하여 보다 상세한 포인트 클라우드를 생성한다. 이 방법은 단일 단면뿐만 아니라 물체의 3D 이미지를 제공하기 때문에 전체 영역 측정 방법이다.

구조광 시스템은 고강도의 흰색 조명 프로젝터와 카메라를 사용한다. 촬영하는 장면과 수직인 카메라에 대해 약간의 각도를 가진 프로젝터가 서로 일정하게 고정되어 배열된다. 구조광의 빛은 물체를 가로지르는 다양한 너비와 고-대비 빛의 줄무늬 모양으로 물체를 비춘다.

각각의 줄무늬는 프링지(Fringe)이라 말하고, 수천 개의 프링지로 구성된 격자무늬가 물체의 표면에 나타난다. 앞서 언급한 것처럼, 프로젝터는 카메라가 물체에 수직으로 보는 상태에서 물체에 비스듬히 고정된다. 프링지 패턴을 물체에 비추면 물체의 표면에 의한 왜곡이 포착되고 이러한 왜곡을 통해 매우 상세한 포인트 클라우드를 생성한다. 모든 구조광 시스템이 줄무늬 프링지를 사용하는 것은 아니며, 점 혹은 다른 패턴도 사용할 수 있다.

하나의 패턴만 가진 구조광 방식은 액티브 스테레오(Active stereo)방식과 유사하지만, 두 번째 카메라를 가지지 않는다. 하지만 패턴이 무작위하지 않고 구조화되었기 때문에 데이터 추출은 프로세서 집약적이지 않고 구조화된 패턴은 이와 관련된 문제를 피할 수 있다.

단점을 생각해보자면, 공간 구조화된 빛의 한 패턴은 블록 평균화, 해상도 및 정확도와 관련하여 스테레오 비전과 동일한 문제를 가지고 있다. 또한 구조광 방식의 시스템은 일반적으로 레이저 스캐너와 마찬가지로 표면이 특이하거나, 광택이 나거나, 매우 어둡거나, 빛의 흡수가 잘되는 물체에 대한 문제를 가지고 있다. 이러한 표면은 보통 데이터 부족 및 측정 오류를 만든다.

타임 코드 구조광 방식(Time-coded structured light)

 • 프로젝트 프링지(Projected fringes)

 • 장면의 물체에 대한 왜곡/변화가 깊이에 대한 정보 제공.

 • 발사된 빛이 반사되어 돌아오는데 걸린 시간을 측정.

 • Zivid는 이 방식을 약간 변형해서 제품에 적용함.

타임 코드 구조광 방식의 시스템은 장면에 수직인 카메라와 약간의 각도를 가진 고강도의 프로젝터를 가진 보통의 구조광 방식의 시스템과 유사하다. 이 두 방식은 매우 자세한 포인트 클라우드를 제공하기 위해 공간 영역과 시간 영역의 기술을 이용하고 RGB 색상 정보 또한 제공할 수 있다. Zivid 3D 칼라 카메라 시스템은 타임  코드 구조광 방식(Time-coded structured light)을 사용하고 있다.

이 방식은 다른 방식보다 최대 100 배 높은 정밀도와 정확도를 제공한다. 이러한 이유로 많은 사람들이 3D 머신 비전의 미래와 가장 선호하는 방식으로 타임 코드 구조광 방식을 생각한다. 간단한 구조광 방식은 물체에 단일 패턴을 투영하지만, 타임 코드 구조광 방식은 물체에 일련의 고유한 패턴을 투사하고 카메라는 코드화된 전체 패턴에 대한 여러 개의 이미지를 캡처한다.

각 픽셀의 세기는 서로 다른 시간에 관찰되며 카메라와 프로젝터의 개별 픽셀 간의 대응 관계를 설정하는데 사용된다. 시간의 정보만 사용되므로 모든 계산이 공간 주변 분석이 필요하지 않고 픽셀수준에서 처리된다. 이렇게 하면 블록 노이즈를 제거하고 공간 해상도를 증가시킬 수 있다.

스테레오 비전 vs. 구조광 방식

많은 로봇 빈-픽킹(Bin-picking), 피스-픽킹(Piece picking) 어플리케이션은 RealSense 카메라와 같이 저비용의 3D 카메라의 데이터를 활용하여 탐지(Detect) 및, 픽 앤 플레이스(Pick and Place) 알고리즘 개발을 시작했다. 가격과 가용성을 고려했을 때, 이러한 저비용의 3D 카메라는 3D 이미징 및 포인트 클라우드캡처의 훌륭한 진입로라고 생각할 수 있다.

하지만 카메라의 선택과 성능은 요청되는 작업에 맞춰져야 한다. 모든 3D 비전 시스템은 약간의 오차를 가지고 비전 시스템이 작업에 필요한 수준으로 작동하는지 확인해야 한다. 오류의 범위가 너무 크면 시스템은 간단하게 작동되지 않고 너무 많은 주의가 필요한 믿을 수 없는 시스템이 된다.

우리의 빈(Bin, 통) 예제에서, 이것은 빈(Bin, 통)에서 미스픽(Missed pick)을 발생시킨다. 만약 이러한 오류를 최소화하고 가능한 한 실제 물체와 가까운 포인트 클라우드를 얻을 수 있다면, 우리는 기대에 부응하는 정확하고, 신뢰할 수 있고, 튼튼한 로봇 셀을 갖게 될 것이다.

스테레오 카메라와 액티브 스테레오 카메라는 빈픽킹(bin-picking) 애플리케이션에서 AI 알고리즘과 함께 자주 사용된다. 그림5,6,7에서 스테레오 카메라 포인트 클라우드의 몇 가지 예와 지비드와 같은 타임 코드 구조광 방식의 카메라로 촬영한 동일한 장면을 확인할 수 있다.

간단히 말해서 정확성과 실세계를 표현한 정도는 스테레오 카메라와 Zivid 의 3D 칼라 카메라의 가장 큰 차이점이다. 산업용 3D 카메라를 사용하면, 포인트 클라우드의 데이터는 더 현실에 가깝게 표현할 수 있다.

이제 빽빽하게 놓인 포장된 박스와 성냥개비 박스를 촬영한 장면을 비교해본다. <그림8>은 스테레오 카메라 시스템에서 얻은 포인트 클라우드를 보여준다. 반면 <그림9>는 Zivid 의 산업용 칼라 3D 카메라 시스템에서 얻은 포인트 클라우드를 보여준다.

포인트 클라우드 품질 불량의 영향

시스템 설계자로서 성능이 부족한 시스템의 데이터는 부실하기 때문에 더 나은 결과를 얻기 위해 상당한 보상을 해야 한다.

• 실세계를 표현하는 대신 저 품질의 심도 센서 출력을 조정하기 위해 노이즈가 많은 데이터에 대한 AI 및 ML 알고리즘을 교육해야 한다.

• 심도 센서의 스케일링, 회전 및 변환 오류로 인해 XYZ 좌표 위치에 물체가 정확하게 있지 않아 미스 픽이 발생한다.

• 저해상도 심도 카메라가 구별할 수 있는 한계가 있기 때문에 SKU(Stock keeping unit) 커버리지가 높지 않다.

우리는 가능한 한 현실에 가장 가까운 표현을 원하고, 최대의 정확성을 원하고, 이것이 보상과 ‘장면의 복구’를 위한 조정 없이 얻어지길 바란다. Zivid 산업용 3D 카메라와 같은 고성능 시스템에서 직접 이러한 데이터와 성능을 얻는 것이 바람직하다. 결과적으로 미스 픽이 줄어들고, 유지 보수와 운영자의 개입이 줄어들지만 더 비어있는 빈을 확인할 수 있을 것이다. 이것이 더욱 안정적이고 강력한 빈 픽킹 솔루션이다.

자료 제공 : Zivid(www.zivid.com)