Photoneo / 3D 센싱의 주요 기술과 매개변수
머신비전은 산업 자동화의 원동력 중 하나다. 오랫동안 2D 이미지 센싱으로 개선된 부분이 주로 추진되어 왔고, 일부 애플리케이션에서는 2D 센싱이 여전히 문제를 해결하는 최적의 도구다. 그러나 머신비전이 당면한 과제의 대다수는 3D 성격을 가지고 있다. 스마트 로봇에서 잘 확립된 계측에서부터 새로운 애플리케이션에 이르기까지 3D 센서는 주요 데이터 소스 역할을 한다.
3D 센서는 검사된 표면의 3D 특징을 캡처할 수 있는 센서로 이해한다. 현재 머신비전에 대해 말하고 있지만, 여기서는 광학이 아닌 시스템은 고려하지 않을 것이다.
오늘날 시장은 다양한 3D 센서 솔루션을 제공하며, 대부분 경쟁에서 더욱 우월하다고 주장한다. 이러한 주장은 합리적인 추론에 기반을 두지만, 개별적인 애플리케이션의 필요성과 차이점을 이해해야 한다. QR 코드 판독을 위해, 2D 스마트 카메라는 시장에서 가장 좋은 솔루션이 될 수 있다. 그러나 그것이 한 시설에서 다른 시설로 물류 로봇을 안내하지는 않을 것이다. 이 분야에서는 현재 시장을 장악하고 있는 LIDAR 기반 솔루션과 경쟁할 수 없다.
간섭계와 nm 범위를 고려하지 않고, 현재 업계에서 사용되는 일반적인 기술을 나열할 수 있다.
- 레이저 삼각 측량(혹은 profilometry)
- 사진 측량법
- 스테레오 비전(수동과 능동)
- 구조 광(한 프레임, 여러 프레임)
- ToF(지역 스캔, 혹은 LIDAR)
기본 사용 사례와 선택한 매개변수에 기반을 둔 분류에 대한 자세한 설명은 본 기사의 끝부분에 있다.
모든 필요를 충족시키는 최적의 솔루션을 만드는 것이 불가능하다는 것을 깨닫는 것이 중요하다. 가장 중요한 매개변수와 쉽게 확장할 수 없는 이유에 대해 집중적으로 설명하거나 일부 매개변수가 상당히 높다는 절충점에 대해 집중해 보고자 한다. 개별 기술과 그들이 제공하는 가능성을 비교하는 데 도움이 되는 각 범주에서 5단계를 정의하려 한다.
I. 매개변수
운용 용적(Operating volume)
계측 애플리케이션에 사용되는 시스템의 전형적인 운용 용적은 약 100mm x 100mm x 20mm이며, bin picking solution의 일반적인 요구는 약 1m3다. 이것은 단순히 하나의 매개변수의 변화처럼 보이지만, 실제로는 운용 용적에 따라 다른 기술들이 각기 탁월하다.
XY 방향의 범위를 증가시키는 것은 시스템의 FOV와 더욱 관련이 있으며 더 넓은 렌즈를 사용하여 확장할 수 있지만, Z 방향으로 확장하면 피사체의 초점을 유지하는 문제가 발생한다. 이를 DoF(Depth of Field, 피사계 심도)라고 한다. DoF 가 깊을수록 카메라(또는 프로젝터)의 조리개가 작아야 한다. 이것은 센서에 도달하는 광자의 수를 크게 제한하며 결과적으로 더 높은 수심 범위에서 일부 기술의 사용을 제한한다.
필드 범위의 깊이를 기준으로 다섯 가지 범주를 정의할 수 있다.
1. 매우 작음: 최대 50mm
2. 소형: 최대 500mm
3. 중형: 최대 1,500mm
4. 대형: 최대 4m
5. 매우 큰: 최대 100m
조리개를 축소하여 카메라의 깊이 범위를 확장하면 캡처된 빛의 양(광원, 활성 시스템과 주변 조명 모두)이 제한된다. 더욱 복잡한 문제는 능동 투영 시스템의 깊이 범위를 확장하는 것인데, 조리개를 축소하면 주변 조명을 제한하지 않고 신호만 제한된다. 레이저 기반의 투영 시스템(Photoneo의 3D 센서에 사용됨)은 거의 무제한의 DoF를 달성할 수 있는 능력이 탁월하다.
데이터 수집과 처리 시간
3D 스캐닝에서 가장 중요한 자원 중 하나는 빛이다. 올바른 광원의 광자를 픽셀로 많이 가져오는 것이 신호의 신호 vs. 노이즈 비율을 높이는 데 필수적이다. 이는 데이터 수집에 제한된 시간이 소요되는 애플리케이션의 경우 어려움이 될 수 있다. 시간의 관점에서 차이를 만드는 또 다른 매개변수는 이동 중인 물체(컨베이어벨트, 움직이는 로봇의 센서 등)를 캡처하는 기술의 능력이다.
애플리케이션 이동을 고려할 때 ‘원 샷(one shot)’ 방식만이 경쟁할 수 있다(데이터 수집 시간 매개변수에서 점수 5로 표시). 마지막으로 중요한 것은 달성해야 하는 사이클 시간을 정의할 때 애플리케이션이 반응적이고 즉각적인 결과가 필요한지(예: 스마트 로봇, 정렬 등), 또는 나중에 제공되는 결과가 충분한지 여부다(예: 오프라인 계측, 재구성 공장 평면도, 범죄 장면 디지털화 등).
애플리케이션의 시간이 제한적일 경우 구조 광은 속도(수집과 처리 모두)와 해상도 사이의 균형을 잘 맞출 수 있다.
데이터 수집 시간
1. 매우 높음: 몇 분 이상
2. 높음: ~ 5s
3. 매체: ~ 2s
4. 짧음: ~ 500ms
5. 매우 짧음: ~ 50ms
데이터 처리 시간
1. 매우 높음: 몇 시간 이상
2. 높음: ~ 5s
3. 매체: ~ 2s
4. 짧음: ~ 500ms
5. 매우 짧음: ~ 50ms
해상도
해결 방법은 세부 정보를 캡처하는 시스템의 기능이다. 대형의 운용 용적에 작은 3D 기능이 있는 애플리케이션에는 고해상도가 필요하다. 모든 카메라 기반 시스템에서 해상도를 높이는 가장 큰 과제는 개별 픽셀에 도달하는 빛의 양을 줄이는 것이다.
컨베이어 벨트에 사과 정렬을 적용한다고 상상해보자. 처음에는 사과의 용적만 정렬 매개변수다. 그러나 고객은 스톡(stalk)의 존재를 확인해야 한다. 분석 결과 필요한 데이터를 얻으려면 개체 샘플링 해상도를 두 번 확장해야 한다. 물체 샘플링 해상도를 두 번 높이려면 이미지 센서의 해상도를 4배 증가시켜야 한다. 이것은 일반적으로 잘 알려져 있으며 빛의 양을 4배로 제한한다(같은 빛의 흐름은 4개의 픽셀로 나뉜다).
그러나 까다로운 부분은 원래 시스템의 DoF를 보장해야 한다는 것이다. 그러려면 빛을 다음 4배로 제한하는 조리개를 줄여야 한다. 즉, 같은 품질의 물체를 캡처 하려면 16시간 이상 노출해야 하거나 16배 강한 광원이 필요할 것이다. 이는 실시간 시스템의 가능한 최대 해상도를 크게 제한한다.
일반적으로 스캔된 개체를 빠르게 캡처하려면 올바른 해상도를 사용한다. 또한, 처리 시간이 단축되어 시간을 절약할 수 있다. 대안으로, 일부 장치(예: Photoneo의 3D 스캐너)는 애플리케이션의 필요에 맞게 중간 해상도와 고해상도를 전환할 수 있다.
시스템을 분류하려면 측정당 평균 3D 점 또는 XY 해상도로 이 5가지 범주를 정의한다.
1. 매우 작음: ~ 100k 포인트
2. 소형: ~ 300k 포인트(VGA)
3. 중간: ~ 1M 포인트
4. 높음: ~ 4M 포인트
5. 연장: ~ 100M 포인트
해결책의 다른 부분은 깊이 정보를 검색하는 기능이다. 일부 기술은 정확한 측정(대부분의 삼각 측량 시스템)을 충족시키기 위해 확장 가능하지만 일부는 물리적 제한(FoT 시스템과 같은) 때문에 축소할 수 없다. 이것을 Z- 해상도라고 부른다.
1. 매우 작음: > 10cm
2. 소형: ~ 2cm
3. 중간: ~ 2mm
4. 높음: ~ 250um
5. 매우 높음: ~ 50um
견고성
대부분의 시스템은 구성 요소의 합리적인 수명을 제공할 수 있으며, 필요한 경우 적절한 IP 등급, 또는 냉각 기능을 갖춘 외장 상자에 넣는다. 이를테면, 일부 시스템은 외부 조명(태양 또는 실내 조명과 같은)에 의존하거나 제한된 주변 광 레벨(시스템 작동의 일부가 아닌 조명) 내에서만 작동할 수 있다.
주변 광은 내부 센서에 의해 센싱된 강도 값(intensity values)을 증가시키고 측정 노이즈를 증가시킨다. 많은 접근법은 검정 레벨 차감과 같은 수학을 사용하여 더 높은 수준의 저항을 얻으려고 시도하지만 이러한 기법은 매우 제한적이다. 문제는 ‘노이즈’, 또는 ‘양자 노이즈(quantum noise)’라고 불리는 특정 노이즈에 의존한다. 일반적으로 1만 개의 광자가 평균적으로 픽셀에 도달하면 그 수 100의 제곱근이 불확실성의 표준 편차라고 말한다. 그래서 때로는 더 많은 광자가 감지되고 때로는 더 적다.
문제는 주변 조명 수준에 있다. 그로 인한 샷 노이즈(shot noise)가 시스템의 활성 조명의 신호 레벨과 비슷하면 노이즈 레벨이 높아진다. 장치가 작동할 수 있는 외부 조건을 아래와 같이 정의한다.
1. 실내, 어두운 방
2. 실내, 차폐된 물체
3. 실내, 강한 할로겐 조명과 열린 창문
4. 야외, 간접적인 햇빛
5. 야외, 직사광선(햇빛)
서로 다른 재료 스캔에서의 견고성에 대해 이야기할 때, 결정적인 요소는 상호 반사를 처리하는 능력이다.
1. 확산성, 잘 구성된 재료(암석 등)
2. 확산 재료(일반 흰 벽)
3. 반 광택 물질(알루마이트 처리된 알루미늄)
4. 광택이 있는 재료(polished 강철)
5. 거울과 같은 표면(크롬)
무게
장치의 무게와 용적에 따라 일부 애플리케이션에서의 사용이 제한된다. 가볍고 콤팩트하면서도 강력한 솔루션을 사용하면 어디에나 설치할 수 있다. 이것이 우리가 탄소 섬유 몸체를 선택하는 이유다. 온도 안정성과 더불어, 더 긴 베이스 라인 시스템에 대해서도 가벼운 빌드(build)를 제공할 수 있다.
1. 매우 무거운: > 20kg
2. 중량: ~ 10kg
3. 중간: ~ 3kg
4. 빛: ~ 1kg
5. 매우 가벼운: ~ 300g
예산
일부 비용 측면은 특정 기술과 관련되어 있으며, 다른 측면은 제공된 생산, 서비스 및 지원의 일반적인 양에 의해 정의된다.
최근 몇 년 동안 소비자 시장은 대량 생산을 활용하여 값싼 3D 센싱 기술을 구현할 수 있었다. 반면에 이러한 기술의 단점은 사용자 정의와 업그레이드 가능성, 견고성, 제품 라인 가용성, 그리고 제한된 지원 가능성 등이 있다. 가격을 기준으로 3D 비전 기술을 다음과 같이 분류할 수 있다.
1. 매우 높음: ~ 100k EUR
2. 높음: ~ 25k EUR
3. 매체: ~ 10k EUR
4. 낮음: ~ 1000EUR
5. 매우 낮음: ~ 200EUR
II. 기술(Technologies)
시장에서의 주요 기술에 대해 분류해 보았다. 대부분의 범주에서 유사한 제품을 가진 여러 회사를 찾을 수 있었으며, 평가를 위해 평균 수준의 회사를 선택했다. 각 범주의 위치는 레이더 차트로 표시되었으며, 특정 범주에 기술의 일반적인 변형이 있는 경우 매개변수 간의 종속성을 강조하기 위해 동일한 차트에 시각화하였다. 제공된 데이터는 정보차원에서 범주 간 차이에 대한 이해를 돕는다.
두 개의 큰 그룹이 형성되어 있다. 3차원 데이터를 계산하기 위한 최종 기법으로 삼각 측량을 사용하는 그룹 하나와 주로 ToF(비과 시간) 원리를 활용하는 기술로 구성된 그룹이 있다.
ToF(Time of flight)
ToF 시스템은 이미터(일반적으로 검출기 근처)와 검사 대상 사이와 검출기로 되돌아오는 빛 이동 시간을 계산한다. LIDAR 혹은 지역 센싱 중 하나를 ToF 방식으로 사용하는 두 가지 특유의 기술이 있다.
LIDAR
이러한 시스템은 한 번에 하나, 또는 여러 개의 3D 점을 샘플링한다. 스캔하는 동안 센서의 위치 혹은 방향을 변경하여 전체 운용 용적(operation volume)을 스캔한다.
지역 센싱(Area sensing)
반면, 지역 센싱 ToF 시스템은 특수 이미지 센서를 사용하여 2D 스냅 샷에서 여러 측정 시간을 측정한다. LIDAR와 같은 데이터 품질을 제공할 수는 없지만, 저해상도가 필요한 동적 애플리케이션에 적합하다. 지역 센싱 ToF 시스템의 또 다른 문제점은 결과 측정을 쉽게 구부릴 수 있는 장면 부분 간의 상호 반사다. 이 기간 동안 ToF 시스템의 인기는 주로 인간의 컴퓨터 상호 작용을 위해 설계된 값싼 소비자 기반 시스템의 가용성으로 확대된다.
삼각 측량 기반(Triangulation based)
삼각 측량 기반 시스템은 더 많은 위치에서 장면을 검사한다. 이 위치는 알려진 기준선을 형성한다. 기준선과 검사점으로 구성된 삼각형의 각도를 측정하여 정확한 3D 좌표를 계산할 수 있다. 기준선의 길이와 각도 검색의 정확도는 시스템 정밀도에 크게 영향을 준다.
레이저 삼각 측량(Laser triangulation 혹은 Profilometry)
가장 널리 사용되는 3D 센싱 방법 중 하나다. 선 프로파일 (혹은 점)이 표면에 투영된다. 이 각도는 다른 각도에서 볼 때 변형된다. 이 편차는 깊이 정보를 엔코딩한다. 한 번에 하나의 프로필만 캡처하므로 전체 스냅 샷을 구성하려면 센서 혹은 대상을 움직이거나 레이저 프로필에서 장면을 스캔해야 한다.
사진 측량법(Photogrammetry)
대량의 등록되지 않은 2D 이미지로부터 객체의 3D 재구성을 계산하는 기법이다. 스테레오 비전과 마찬가지로 객체 자체의 텍스처를 중계하지만, 높은 기준선을 사용하여 같은 지점의 여러 샘플을 활용할 수 있다. 이 기술은 LIDAR 시스템의 대안으로 사용될 수 있다.
스테레오 비전(Stereo vision)
클래식 스테레오 비전은 인간 깊이 인식을 모방한 한 쌍의 카메라를 기반으로 한다. 두 이미지 사이의 텍스처 특징을 일치시켜 정보를 깊이 검색한다. 수동 3D 스테레오(대상 소재에 대한 의존성 때문에)는 사람 카운팅과 같이 측정하지 않는 특성을 가진 애플리케이션에 사용된다 .
이러한 단점을 보완하기 위해 표면에 인공적인 무늬를 만들어내는 구조적인 투영법을 사용하는 능동적인 스테레오 비전 시스템이 개발되었다.
구조 광(Structured light)
움직이는 부품이 없어도 장면의 전체 3D 스냅 샷을 캡처할 수 있으므로 구조광은 높은 수준의 성능과 유연성을 제공한다. 정교한 투영 기술을 사용하여 3D 정보를 장면에 직접 엔코딩하는 코딩된 구조 패턴을 만든다. 이를 카메라와 내부 알고리즘으로 분석함으로써 시스템은 짧은 수집 시간으로 높은 수준의 정확성과 해상도를 제공한다.
시장에서 사용 가능한 고해상도 구조광 시스템은 장면의 여러 프레임을 사용한다. 각각 다른 구조 패턴이 투영된다. 이렇게 하면 픽셀 당 3D 정보를 높은 정확도로 보장할 수 있지만 장면을 수집하는 순간 동안은 정적으로 유지해야 한다.
구조 패턴 투영에 사용되는 일반적인 기술은 원래 일반 디지털 프로젝터에 사용되는 DMD(Digital Micromirror Device)를 기반으로 한다. 이러한 시스템은 일반적으로 흰색, 또는 단색 조명을 사용한다(예: 생산 설비와 같이 주변 광 저항에 대한 수요가 높은 경우). 오프라인 계측을 위해 최적화된 스캐너는 가장 정밀하게 구동되는 애플리케이션용으로 제작되었지만, 대부분 실험실 조건에 적합하다.
DMD와 같은 투사 기반 접근법의 가장 큰 단점 중 하나는 DoF다. 프로젝터의 초점을 맞추기 위해 시스템에는 좁은 구경이 필요하다. 이것은 차단된 빛이 추가 열로 내부 반사를 생성하므로 광학적으로 효율적이지 않다.
투영 시스템에서 실제로 더 높은 깊이 범위에 대한 기술의 사용을 제한한다. Photoneo에서는 구조 패턴을 만들기 위해 레이저를 사용하여 문제를 극복했다. 거의 무제한의 깊이 범위로 주변 광을 차단하기 위해 좁은 대역 패스 필터를 사용할 수도 있다.
움직이는 애플리케이션의 경우에는 한 프레임 접근 방식(one frame approach)을 사용해야 한다. 종래 기술은 XY 및 Z 해상도에 강한 영향을 미치는 다중 프레임 시스템의 특징을 하나의 구조 패턴으로 엔코딩하는 것이다. ToF 시스템과 마찬가지로 이 범주에는 소비자 기반 제품이 있다.
이러한 한계점을 해결하기 위해 Photoneo는 ToF 시스템의 빠른 한 프레임 수집으로 여러 프레임 구조 조명 시스템에 공통된 고해상도를 제공할 수 있는 한 프레임 3D 센싱의 새로운 기술을 개발했다. 우리는 이것을 평행 구조 광(Parallel Structured Light)이라고 부르며 특별한 이미지 센서 덕분에 작동한다.
로봇 애플리케이션에 빠르고 정확한 고해상도 측정을 제공할 수 있는 다용도 기술 혹은 품질검사 업무를 가속화할 수 있는 3D 센서는 본사 웹사이트에서 살펴볼 수 있다.
자료 제공: Photoneo.com(www.photoneo.com)
