로봇 공학, 물류 및 제약 분야의 ToF 카메라 애플리케이션
자료제공 : Basler
어떤 물체 또는 장면의 3D 측정 기술은 다양하다. 그 가운데 전망이 밝은 기술을 하나가 꼽자면 바로 ToF(Time-of-Flight)일 것이다. Basler가 작성한 이 글을 통해 ToF(Time-of-Flight) 프로세스에 대해 꼼꼼히 알아보고 이 프로세스가 적합한 애플리케이션에는 어떤 것이 있는지 알아보자.
ToF 카메라 기술 소개
2D와 3D 기술 사이의 중요한 차이점은 수집되는 데이터의 종류이다. 두 기술 모두 이미지 대상의 X, Y 값을 식별하지만 3D 기술은 추가적으로 녹화된 장면 또는 물체의 깊이 값도 제공한다. 물체의 깊이 값을 알 수 있다는 것은 특히 물류, 로봇 공학 및 공장 자동화 및 의료 부문에서 복잡한 작업 해결을 위한 완전히 새로운 차원의 가능성을 열어주는 것과 마찬가지 이다.
ToF(Time-of-Flight) 프로세스는 깊이 값을 얻기 위해 거리를 측정하는 아주 효율적인 기술이다. ToF 카메라는 픽셀마다 그레이 값으로 표시되는 강도 값, 그리고 물체와 센서 사이 거리, 즉 깊이 값이라는 두 종류의 정보를 제공한다. ToF의 측정 방법에는 연속파와 펄스 ToF의 두 가지가 있다.
연속파 ToF(Time-of-Flight) 방식은 밝기 변조 광원에 대한 위상 길이 측정을 바탕으로 한다. 이 방식은 꽤 오래전부터 사용되고 있으며 일반적인 전자 제품들에 채택되어있지만 센서가 비교적 크고 저해상도만 제공하는 것이 단점이다. Basler ToF 카메라처럼 펄스 ToF(Time-of-Flight) 방식으로 동작하는 카메라는 여러 개의 개별 광 펄스가 센서에서 물체까지 왕복하는데 소요되는 시간을 바탕으로 거리를 측정한다. 기술적 진보로 인해 정밀한 광 펄스를 생성하고 높은 분해능의 센서로 해당 펄스를 정확히 측정함에도 불구하고 사용하는 장비의 가격은 크게 낮아졌다. 이 방식은 계속 빠르게 발전하고 있으며 분해능은 점점 더 높아지는 추세이다.
ToF 카메라는 구동 부품이 없는 컴팩트 시스템이며 능동형 통합 광원, 통합 렌즈, ToF 센서로 이루어져 있다. 카메라의 광원은 광 펄스를 방출하면 빛이 물체에 부딪힌 뒤 카메라 센서로 반사된다. 내장된 렌즈는 반사된 빛이 센서에 도달할 수 있도록 한다. 간단히 설명하면 깊이 값은 빛이 카메라에서 물체까지 갔다가 센서에 다시 돌아올 때까지 여행하는 동안 걸린 시간을 측정해 픽셀별로 계산하는 것이다(그림 1 참조). 이 프로세스는 포인트 클라우드(point cloud), 깊이 맵(depth map), 밝기 데이터 이미지(intensity image) 및 신뢰도 맵(confidence map)으로 구성되는 실시간 멀티 파트 이미지를 제공하는데 이것들은 모두 동시에 캡처된다.
ToF 카메라의 일반적인 애플리케이션 분야
ToF 카메라는 특히 넓은 작동 거리, 빠른 속도 또는 복잡하지 않거나 ㎛ 수준의 정밀도가 필요하지 않은 애플리케이션용으로 적합하다. 또한 ToF 카메라는 비교적 저렴하여 예산 차원에서도 눈여겨 볼만한 옵션이다. ToF 카메라는 물류, 적재 및 이동 작업에서의 부피 측정, 그리고 물류 및 생산 환경의 자율 주행 차량용으로도 매우 적합하며, 의료 분야에서는 환자의 포지셔닝 및 모니터링을 위한 작업이 가능하다. 산업 환경에서는 상대적으로 깊이 값의 정밀도가 낮아 주로 아주 높은 정밀도가 필요하지 않은 비교적 큰 물체의 이송 및 분류, 로봇 제어 기능, 로봇 기반 공장 자동화 및 자율 주행 차량과 같은 애플리케이션 작업에 적합하다.
ToF 애플리케이션은 제스처 컨트롤 및 비 제스처 컨트롤 애플리케이션의 두 가지로 나눌 수 있다. 제스처 컨트롤 방식 애플리케이션에는 로봇과 사람 사이의 상호 작용이나 차량 내 엔터테인먼트 애플리케이션 제어와 같이 사람들이 기기와 제스처를 이용해 교감하고자하는 모든 애플리케이션들이 포함된다. 비 제스처 방식 컨트롤 애플리케이션은 물류, 제약 및 무인운반차량에 흔히 사용된다. 비 제스처 방식 컨트롤 애플리케이션에서는 카메라가 이미지를 캡처한 뒤 알고리즘이 이미지 특성을 평가한다. 이를 통해 주변 상황을 감시하거나 물체의 부피 및 위치를 파악하여 작동하는 원리이다.
다른 3D 기술과의 차별화
2D 화상 처리용으로 주로 사용되는 에어리어 및 라인 스캔 카메라가 각각 장단점을 갖고 있는 것처럼, 3D 화상 처리 분야에도 ToF(Time-of-Flight) 외에 스테레오비전 및 구조형 광(structured light), 레이저 삼각 측량 이라는 기술들이 존재한다. 이들 기술들은 모두 서로 다른 원리에 따라 3차원을 측정하는데, 서로 보완적인 성격도 갖고 있기 때문에 적용할 애플리케이션의 요구 사항에 따라 가장 적합한 기술이 달라진다.
- 스테레오비전 및 구조형 광(structured light)
스테레오비전 프로세스는 한 쌍의 눈과 같은 원리로 동작한다. 두 대의 2D 에어리어 스캔 카메라가 다양한 위치에서 하나의 장면에 대한 두 개의 2D 이미지를 캡처한 다음 삼각측량의 원리 및 그 밖에 제공되는 정보를 이용해 두 개의 이미지로부터 3D 이미지를 계산하는 방식이다. 이미지는 카메라의 상대적인 위치 및 투사된 기하학적 구조에 대한 지식을 바탕으로 보정된다. 보정 후, 좌우 이미지에서 상응하는 점들을 찾아주는 매칭 알고리즘이 사용되며 장면의 깊이 이미지가 생성된다. 이 프로세스가 작동하는 작동 거리는 카메라 간 거리인 기준선에 좌우되기 때문에 다양하다.
스테레오비전 시스템의 성능은 구조형 광을 추가하여 향상시킬 수 있다. 이를 위해 시스템이 보다 정밀한 측정값을 얻을 수 있도록 돕기 위해 장면에 광원을 이용한 구조형 광을 투사한다. 이와 동시에 이 프로세스는 균일한 표면과 저조도와 관련된 스테레오비전의 단점을 줄여준다. 프로젝터를 카메라로 보정하면 심지어 두 번째 카메라를 사용하지 않고도 3D 이미지를 생성할 수 있다.
- 레이저 삼각 측량
레이저 삼각 측량 프로세스는 2D 카메라, 그리고 프로젝터에서 조사된 레이저 라인 또는 레이저 도트를 조합해 측정하는 기술이다. 이 레이저 라인은 측정 대상 물체에 초점이 맞춰지며 2D 카메라가 레이저에 의해 조사된 라인을 관찰하는 방식을 사용한다. 측정 대상 물체와 센서 사이의 거리에 변화가 생기면 레이저 라인의 각도, 그리고 카메라 이미지에서의 레이저 라인 위치가 바뀐다. 이때, 위치 변화에 삼각함수를 적용해 레이저 프로젝터와 물체 사이의 거리를 계산한다. 카메라가 이미지에서 레이저 도트의 위치를 파악하면, 이미지에서의 위치를 바탕으로 센서와 물체 사이 거리가 계산된다.
위에서 언급한 바와 같이 3D 데이터를 필요로 하는 모든 비전 애플리케이션을 하나의 기술로 해결해 줄 수 있는 완벽한 3D 기술은 존재하지 않는다. 사용자는 항상 다양한 기술들 중 어떤 기술이 애플리케이션에 가장 효과적인지 생각해서 결정해야 한다. 표 1을 참고하면 어떤 애플리케이션의 내가 원하는 프로세스에 적합할지 도움이 될 것이다.
ToF 기술의 장점과 문제점
ToF 카메라의 가장 큰 장점은 다른 3D 카메라에 비해 작고 저렴하면서도 덜 복잡하다는 점이다. ToF의 장점을 잘 활용하면 장면 속의 물체들을 서로 구분하기 쉽게 해 주는데 이는 이미지 해석의 핵심 단계이다. 이 외에도 ToF 카메라는 작동하는 데 있어서 콘트라스트 및 가장자리, 코너에 대한 작업이 필요 없으며 물체가 지나갈 때 신속히 사용할 수 있다.
ToF 카메라의 장점과 단점 개요
+ 장면이 한 번에 녹화되며 스캔할 필요가 없다.
+ 빠른 속도
+ 하나의 멀티 파트 이미지로 2D와 3D 이미지 제공
+ 높은 X/Y 해상도
+ 구동부가 없는 컴팩트 시스템
+ 낮은 조도에서의 우수한 성능
+ 눈 보호 기능 제공
+ 구조 또는 콘트라스트가 필요하지 않음
+ 충분히 강한 광원으로 넓은 작동 거리 지원
+ 저렴한 전체 시스템 비용
+ 높은 실시간 성능
-거울 면 및 반사가 심한(비우호적인) 표면에서는 문제가 생김
-산란광 및 복수 경로의 간섭에 민감함
-햇빛 아래에서 사용하기 어려움
-정밀도가 1㎝ 정도에 불과
로봇에서의 ToF 카메라
ToF 카메라는 로봇의 눈 역할 및 ‘인간과 비슷한’ 방향 감각 제공에 아주 적합하다. 따라서 미래의 로봇을 훨씬 효과적으로 설계할 수 있도록 해 새로운 애플리케이션 분야를 열어줄 수 있을 것으로 기대된다. 예를 들어, 공간에서 물체를 감지해 우회하는 능력을 향상시켜 이동성에 있어 새로운 가능성을 제공하는 것이다.
- 인간/기계 인터페이스(HMI) 및 기계 안전
인간과 로봇의 협력과 관련해 제일 중요하게 고려해야하는 것은 항상 안전이다. 특히 협소한 작업 환경에서 로봇은 기계와 기계의 움직임을 인식하고 피해 방지를 위해 즉각 대응할 수 있어야 한다. ToF 기술은 이런 사고의 예방을 더 쉽게 해 준다. ToF 카메라의 실시간 호환성 및 속도는 로봇으로 하여금 로봇 주변의 움직임을 인식해 사전 지정된 최소 안전거리보다 짧을 경우 멈게 할 수 있다. 또한 로봇이 사람의 움직임을 추적해 사람과 함께 작업할 수도 있다. 로봇은 필요한 부품을 공급하고 가져가거나 공정 감시를 하고 비어 있는 재고를 다시 채우고 조립 상태 및 소재 오류를 파악할 수 있다. 요약하면, 로봇은 사람의 작업을 근거리에서 안전하게 보조할 수 있게 되는 것이다.
- 공장 자동화
공장 자동화 분야에서 ToF 카메라는 주로 이동적재 작업 및 조립 작업에 사용된다. 이 때, 로봇에는 한 개 이상의 ToF 카메라가 장착된다. 이 카메라를 통해 로봇은 주변 환경을 스캔하고, 물체를 식별해 쥐고 다른 장소로 옮긴 뒤 내려놓거나 뭔가에 장착할 수 있다. ToF 카메라는 또한 품질 확인 공정에도 자주 사용된다. 잘못된 규격의 물체 및 형태를 식별하고 이물질이나 물체의 구멍을 인식하여 만약 결함 있는 물체를 발견한다면, 생산 공정에 투입되지 않도록 차단하는 데 도움을 준다.
- 무인운반차량(AGV)
무인운반차량(AGV) 역시 ToF(Time-of-Flight) 기술의 혜택을 누릴 수 있다. 한 대 이상의 ToF 카메라가 주변 이미지를 실시간으로 생성해 AGV가 환경을 검토하여 위험을 피하거나 사람을 따라다닐 수 있게 한다. ToF 카메라를 사용해 주변 환경을 촬영한 여러 장의 독립된 스냅샷을 결합한 뒤 AGV가 이 ‘지도’를 이용해 공간을 탐색할 수 있다. 이러한 기능은 생산 및 물류 자동화 관점에서는 엄청난 이점이다. 또한 프로세스 진행을 가속화해 효율이 향상된다.
AGV는 생산 과정에서 정확히 필요한 순간에 다음 생산 단계에 필요한 부품을 창고에서 자동으로 가져와 작업대에 가져다 놓는 등의 작업에 사용할 수 있다. AGV는 또한 저스트 인 타임(just-intime) 방식으로 다음 작업 단계를 위해 완제품을 운반하거나 포장 및 배송 부서로 옮길 수 있다. AGV는 언제나 어떤 부품이 필요한지 알고 있으며 매끄러운 작업 수행을 보장한다.
이동 경로에 떨어져 있는 물체 등의 장애물은 AGV에게 문제가 되지 않는다. ToF 기술 덕분에 AGV는 장애물을 인식해 우회하여 목적지에 도달이 가능하기 때문이다. ToF 카메라가 개발되기 전에는 AGV에 레이저 스캐너가 장착되었었다. 이 스캐너는 SIL2 안전 요구 사항을 만족시키는 장점이 있지만 공간에서의 방향 파악에는 그리 적합하지 않았다. 레이저 스캐너는 하나의 면만 인식할 수 있어 장애물의 존재를 식별하긴 하지만 장애물에 대한 대응 방법을 제공하지는 못했기 때문이다. 결과적으로 레이저 스캐너가 장애물을 인식하는 순간 AGV는 완전히 멈춰버렸다. 이러한 응급 상황은 사람이 직접 해결해야 하기 때문에 공정 중단으로 이어져 오히려 작업 속도가 더뎌질 우려가 있다.
- 물류에서의 ToF 카메라
물류에 사용되는 ToF 카메라는 주로 물체 및 포장의 측정, 식별 및 위치 파악에 적용되는데 이는 이 카메라가 공정 지연 없이 이러한 핵심 정보를 제공할 수 있기 때문이다. 다양한 기능을 제공하기 때문에 작업 환경에 융통성 있게 사용할 수 있다. 애플리케이션의 예로는 컨베이어 벨트 또는 포장용 테이블 위에 사용하거나 지게차를 이용해 운반하는 많은 양의 포장 상품이 통과하는 출입구 위 또는 컨베이어 차량에 장착하는 경우가 포함된다.
적재 및 이동 작업은 물류 작업 중에서도 가장 시간이 많이 소요되는 작업에 속하며 작업 흐름 중단 없이 자동으로 수행되도록 할 경우 상당한 파급 효과를 제공할 수 있다. 이 작업들은 간단히 생각하면 그다지 복잡하지 않을 것처럼 보이지만 면밀히 검토해 보면 예상보다 많은 과제들을 해결해야 한다. 적재 또는 이동 작업은 단순한 화물 하역이나 적재가 아니다. 적재용 로봇이 최적의 그립 위치를 파악하고 기존 공간을 가장 잘 사용할 수 있도록 하려면 픽업한 물체를 어디에 놓을지, 물체가 얼마나 큰지, 그리고 다른 물체와의 상대적인 위치를 정확하게 파악해야 한다. 이러한 작업은 기존의 2D 화상 처리로는 해결할 수 없으며 힘이 들고 시간이 많이 걸리는 경우가 잦아 사람들조차 힘들어하는 작업이며 물체가 상당히 크거나 무거운 경우엔 더욱 힘든 작업이 된다.
여기에서 3D 솔루션은 위치, 크기, 그리고 물체를 잡을 위치를 사람처럼 실시간으로 ‘볼 수’ 있어야 한다. 그 다음 어떤 물체를 옮겨야 하는지 판단해야 하는데 몇 분씩 걸린다면 문제가 커진다. 하지만 ToF 카메라는 위치를 한 번에 식별하고 필요한 변수들을 순간적으로 계산할 수 있기 때문에 이러한 작업에 매우 적합합니다.
- 부피 측정
각 물체들의 부피 측정은 물류에서 또 하나의 중요한 과제이다. 앞서 설명한 바와 같이 물체의 부피를 측정하고 위치와 크기를 계산해야 한다. 적재와 함께 부피 측정은 운임 및 배송비 결정에서 가장 중요한 요소 중 하나이기 때문이다. 포장된 유닛의 볼륨이 측정되면 해당 데이터를 기준으로 운임 비용이 결정된다. 운임 비용이 단순한 예상치 이거나 발송인의 부정확한 정보를 바탕으로 산정되는 경우가 많아 이 프로세스의 자동화는 상당한 비용 절감을 가져다 줄 수 있다.
3D 데이터를 기반으로 부피 측정 및 위치 탐지에 따른 혜택을 누릴 수 있는 또 다른 애플리케이션 분야로는 창고 관리 자동화 및 컨테이너 및 항공기의 효율적인 화물 적재가 포함된다. 수송 중에 빈 공간을 없애 적재 공간을 완전히 활용하기 위해 3D 데이터를 기반으로 부피를 측정하고 해당 정보를 사용해 최적의 화물 구성을 찾아내는 것이다. 3D 데이터 및 로봇 팔은 상품 피킹(picking) 및 보관 과정을 단순화 해 자동화된 창고를 보다 효율적으로 운영되도록 해준다. 이는 다시 프로세스를 합리화해 시간을 절약하고 피킹 및 보관 중의 오류 발생률을 줄여준다.
의료용 애플리케이션에서의 ToF 카메라
ToF 카메라는 추가적인 의료 이미징 프로세스에 아주 적합하다. 3D이미지 데이터는 신체 측정 및 X-레이 진단뿐 아니라 환자 모니터링 및 위치를 확인하는 역할을 수행할 수 있다.
- 환자 위치 확인 및 모니터링
ToF 카메라는 MRI나 CT 스캔(자기 공명 영상 촬영 또는 컴퓨터 단층 촬영)을 위해 환자의 위치를 최적화하는 데 도움을 줄 수 있다. ToF 카메라의 목표는 참조 이미지의 포인트 클라우드(point cloud)를 환자의 현 위치가 반영된 포인트 클라우드(point cloud)와 비교하여 참조 이미지에서 캡처한 것과 정확히 동일한 위치로 환자를 옮기는 데 있다.
ToF 카메라는 또한 집중 치료실에서도 사용된다. 추가적인 깊이 데이터 덕분에 간호사들이 치료실뿐 아니라 내부의 개별 환자들까지 원격으로 모니터링 할 수 있기 때문에 전통적인 감시 카메라들을 점점 더 많이 대체해 나가고 있다. ToF 카메라는 지능형 알고리즘 덕분에 심지어 이불 속 환자 위치까지 탐지하고 임박한 간질 발작이나 위급한 바이탈 변수에 관해 경고할 수도 있다.
- 부피 측정
ToF 측정은 X-레이 진단에서도 정확한 방사선량 보정을 위한 부피 측정이 필요할 때 마다 사용된다. 일반 X-레이 장비에서는 X-레이 기사가 방사선량을 직접 설정한다. 가능한 최상의 이미지를 보장하기 위해 최대 방사선 수준인 기본 값이 선택되는 경우가 빈번하다. 하지만 최근 조사에 따르면 X-레이 이미징은 방사선량이 보다 낮을 때 가장 잘 수행된다. 이를 위해서 한 대 이상의 ToF 카메라를 사용해 환자 신체의 부피와 정밀한 위치를 측정한 뒤 이 3D 데이터를 사용해 최적의 방사선량을 계산한다.
요약
ToF 카메라 시장은 꾸준히 커지고 있으며 미래에는 광범위한 분야에 사용될 것임에는 의심할 여지가 없다. 지금도 ToF 카메라는 이미 차량 내에서의 제스처 컨트롤 방식 엔터테인먼트, 물류 작업, 로봇 및 심지어 의료용 애플리케이션에 이르기까지 많이 분야에 사용되고 있다.
이들 분야에서의 화상 처리 구현은 ToF 기술에 대한 수요를 더욱 촉진시킬 것이다. ToF(Time-of-Flight)는 아주 높은 수준의 정밀도는 필요하지 않지만 비싸지 않으면서 매우 단순하며 작은 시스템이 필요한 애플리케이션에 특히 적합하다.
스테레오비전 및 레이저 삼각 측량과 비교한 ToF 카메라의 장점은 주로 속도, 작은 크기 및 단순한 통합 및 기능 옵션들에 있다. 3D 애플리케이션을 위해 유일하고 최고인 ‘단일’ 기술은 존재하지 않는다는 점에 주목해야 한.
또한 일부 애플리케이션에서 3D가 2D보다 항상 더 좋은 것도 아니다. 화상 처리 및 화상 처리를 사용하는 애플리케이션은 대개 사용자가 사례별로 개별 요구 사항, 주변 조건 및 가용 예산을 반영해 가장 적합한 기술을 결정해야 할 정도로 복잡하다.
이 때, 항상 개별 구성 요소의 비용만이 아니라 전체 수명에 걸쳐 축적되는 투자의 총 소유 비용을 고려하는 것이 중요하다. 3D 시스템 설치 및 소프트웨어 솔루션에는 저렴한 구성 요소에도 불구하고 최초 설치에 상당한 비용이 소요될 수 있기 때문이다. 하지만 ToF 기술은 지속적으로 개선되고 있으며 효율 개선과 비용 절감을 위해 이미 많은 애플리케이션 분야에 활용이 가능하다. 이러한 추세는 앞으로도 꾸준히 증가할 것으로 예상된다.
