로봇 가이드를 위한 3D 비전 시스템 응용 기술
Cognex
소개
자동화는 오늘날 세계화된 시장에서 품질을 유지하는 데 중요한 역할을 하는 동시에, 상승하는 인건비를 관리할 수 있다.
원래 기계는 특정 제조, 조립, 그리고 자재 처리 작업을 자동화하기 위해 제작되었다. 오늘날 산업용 로봇은 새로운 제품을 처리하도록 프로그래밍할 수 있고 새로운 위치에서 새로운 작업으로 용도를 변경할 수 있기 때문에 많은 자동화 작업을 위해 전용 기계를 교체했다.
그러나 이전 것들과 마찬가지로, 로봇은 바로 생각하거나 예상치 못한 상황에 대처할 수 없었다. 매번 제품을 같은 위치와 방향으로 로봇에 제시해야 하고, 그렇지 않으면 로봇이 작업을 완료하지 못할 것이다.
최근에 머신비전은, 로봇에게 변화하는 조건을 ‘보거나’ 반응할 수 있게 했다. 이제 비전 가이드 로봇은 2차원(2D) 머신비전을 이용하여 스스로 ‘자급자족’함으로 컨베이어의 느슨하게 배치된 부분에 로봇 암을 배치하고 안내할 수 있다. 부품이 평평한 표면에 위치하고 너무 크거나 크지 않아 시야각(FoV)과 머신비전 카메라의 초점 심도를 초과하지 않는 한, 2D 비전 가이드 로봇은 인간을 반복적인 위험한 작업으로부터 벗어나게 할 수 있다. 또한, 어떤 인간보다 훨씬 더 빠른 속도와 정확성으로 같은 일을 할 수 있다.
오늘날 3차원(3D) 머신비전 기술은 로봇 제조를 한 차원 높은 효율성과 생산성으로 끌어가고 있다. 다양한 3D 머신비전 기술을 활용하여 비전 가이드 로봇은 컨베이어, 랙, 혹은 빈에 거의 모든 크기와 모양의 제품을 조종하고 조립할 수 있으며 심지어 심각한 안전 위협에서도 사람과 나란히 작업할 수도 있다. 쇠고기 가공, 정밀 용접, 그리고 자동차 페인팅과 같이 자동화를 전혀 생각하지 못했던 작업은 3D 비전 유도 로봇을 사용하여 이전보다 민첩하고 빠르며 저렴하게 수행할 수 있다.
2D vs. 3D: 현실 세계로의 이동
컨베이어 혹은 인덱스 테이블은 기본적으로 2D 공간이다. 부품이 상대적으로 작고 평평한 표면 위에 놓인다면, 2D 비전 가이드 로봇 솔루션이 비용 면에서 가장 효율적이다. 이러한 시스템에는 일반적으로 머신비전 처리 시스템에 연결된 공간 위에 설치된 카메라(오버 헤드 카메라)가 있다. 카메라는 데카르트(Cartesian), 혹은 SCARA(Selective Compliant Articulated Robot Arm) 로봇이 작업 공간을 내려다보고 있다. 이 로봇은 2~4 자유도를 제공하므로 2D 비전 가이드 애플리케이션에 적합하다.
비전 가이드 로봇 애플리케이션을 설치하고 작동하는 첫 번째 단계는 로봇의 물리적 좌표계를 사용하여 비전 시스템의 시각 좌표계를 교정하는 것이다. 만약 이 두 좌표계가 같다면 쉽겠지만, 렌즈 왜곡, 조명 변화, 그리고 기타 요소들이, 비전 시스템이 ‘실제 세계’를 보는 데 영향을 미쳐 잠재적으로 비전 가이드 로봇 프로그램에 오류를 발생하게 할 수 있다.
컨베이어 표면 바로 위에, 그리고 직각으로 카메라를 배치하고 교정 작업(calibration routine)을 통해 2D 비전 시스템의 좌표 시스템이 로봇의 실제 좌표 시스템과 정렬된다. 이제 머신비전 시스템은 컨베이어 표면에 놓인 부품의 이미지에서 의미 있는 위치 데이터를 추출할 수 있다.
로봇의 중심 또는 시작점에서 대상 객체까지의 2D 지도를 만들려면 오버 헤드 카메라에서 이미지 처리 소프트웨어가 실행되는 PC, 또는 내장 컴퓨터로 이미지가 전송된다(작업 공간이 카메라의 공간 해상도 요구 사항에 비해 충분히 크다면, 작업 셀은 여러 대의 오버 헤드 카메라를 필요로 할 수 있다. 하나는 로봇이 물체를 집어 올리는 위치이고, 다른 하나는 용접 스테이션 앞에서 그리고 또 다른 카메라는 컨베이어 출구다).
각각의 경우에 기하학 패턴 매칭과 같은 머신비전 알고리즘은 각 카메라의 이미지를 분석하고 코너, 나사, 혹은 기타 표면 특징과 같은 이미지의 대상 특징을 찾는다. 그런 다음 해당 객체와 컨베이어 표면의 알려진 점 사이의 거리를 측정하여 비전 시스템이 중심점으로부터의 거리와 방향을 포함하여 로봇의 2D 지도 혹은 프로그램 경로를 만들 수 있다. 종종 ‘오프셋’이라고 하는 이 위치는 로봇 컨트롤러로 전송되며, 거리 및 방향 정보를 사용하여 로봇을 대상으로 인도한다. 이것은 2D 비전 가이드 로봇이다.
이제 테이블 위에 놓여있는 물체가 수 밀리미터 정도의 마이크로칩처럼 작지 않아서 컨베이어 테이블에서 2D 공간의 일부로 처리될 수 없다고 가정해본다. 그 물체가 자유 공간에 걸려있는 선반에서 움켜잡아야 하는 자동차 범퍼라고 하면 어떨까?
이 경우, 비전 가이드 로봇 작업 셀 설계자는 매번 동일한 위치, 혹은 동일한 방향으로 랙이 장착된 패널을 사용할 수 없다.
이와 같은 자동 포장 애플리케이션에서 각 패널은 이전 패널보다 약간 더 멀리 떨어져 있다. 따라서 각 패널은 3D 공간에서 다른 위치(변환)를 가지며 이전 파트와 비교하여 각 축의 방향이 다를 수 있다(회전). 가장 까다로운 ‘bin-picking’ 애플리케이션에서는 부품이 구조적 패킹이나 완충재가 없는 빈에 느슨하게 배치될 수 있다. 두 경우 모두 비전 시스템은 6 자유도의 관절형 로봇이 프로그래밍된 이동을 랙에 고정된 파트로 올바르게 조정하기 위해 병진과 회전을 포함하여 3D 공간에서 파트를 배치해야 한다.
3D 비전 가이드(Vision-Guided Robotics, VGR)로 작업
머신비전은 3D 로봇 안내를 제공하는 네 가지 주요 기술을 제공한다.
- 단일 카메라 삼각 측량
- 입체 또는 다중 카메라 삼각 측량
- 구조화된 조명
- ToF(Time of Flight)
설계자는 각 솔루션의 장단점과 산업 애플리케이션과의 연계성을 이해해야 한다.
단일, 다중 카메라 삼각 측량
단일 카메라와 다중 카메라 삼각 측량은 서로 다른 관점에서 촬영한 동일한 FoV의 여러 이미지로 시작된다. 종종 하나의 카메라가 로봇 암에 장착되어 로봇이 카메라를 움직여 여러 장의 사진을 찍을 수 있게 된다. 다중 카메라 3D VGR 시스템보다 시간은 오래 걸리지만 비용은 적게 든다.
다시 말하면, 기하학적 패턴 검색 알고리즘은 각 이미지의 주요 특징을 찾는다. 각 이미지에서 특징이 다른 방식을 수치로 분석하고 위치, 모양, 그리고 크기의 변경 사항을 보정 설정 루틴 중에 사용된 교정 목표와 유사한 측정치와 비교하면 머신비전 시스템이 부품의 3D 위치와 방향을 정확하게 계산할 수 있다. 시스템이 비교하는 이미지가 많을수록 3D 데이터가 정확해진다. 그러나 사진을 많이 찍을수록 처리 속도가 느려진다.
단일, 다중 카메라 삼각 측량 3D VGR 시스템은 넓은 지역에 걸쳐 매우 정확한 3D 위치 데이터를 제공한다. 이 기술은 자동차와 기타 내구재 산업에서 어셈블리, 디스펜스, 그리고 페인팅 애플리케이션에 자주 사용된다.
구조 광(STRUCTURED LIGHT)
구조 광 솔루션 역시 삼각 측량을 사용하며, 기존 조명 단일 및 다중 카메라 삼각 측량 3D VGR 시스템에서 추가적으로 정확도를 제공할 수 있다. 구조 광(또는 구조화된 조명) 솔루션은 정기 라인 필터가 있는 표준 램프, 혹은 레이저 광선을 사용하여 표면에 선을 투사한다. 이 선들은 전체 영역을 가로지르는 조명이라기보다 빛의 ‘구조’를 제공한다.
3D 비전 시스템은 대상 물체의 표면에 투영된 선을 보여주는 이미지를 분석하고 선의 모양이 어떻게 변하는지 측정함으로써 대상 오브젝트의 표면에 대한 3D 맵을 생성할 수 있다. 이 기술은 단일 카메라의 단일 이미지에서 3D 데이터를 생성할 수도 있다. 구조 광 3D VGR의 정확도는 카메라의 공간 해상도가 증가하고 투영된 라인 패턴이 밀도가 증가함에 따라 증가하며 작업 영역의 크기가 커질수록 감소한다.
구조 광 3D VGR 솔루션은 기하학적 패턴 검색 알고리즘에 대해 쉽게 찾을 수 있는 것으로 표면 형상이 없고 부드럽고 반사성이 뛰어난 부품에 탁월한 선택이다. 특수화된 조명은 전체 시스템의 비용과 정확성을 높여주며, 빛이 일관성이 있으면 안전 문제를 일으킬 수 있다. 그러나 판금과 광택 처리된 금속 부품의 경우 구조 광이 가장 비용 효율적인 솔루션이 될 수 있다.
ToF(TME OF FLIGHT, 비과시간)
ToF 카메라는 상업용 산업용 카메라의 세계에 비교적 새로운 기술이지만 이 기술은 수년간 사용되어 왔다. 이 특수 카메라는 다양한 비접촉식 광학 방식을 사용하여 조명기에서 대상 부분을 벗어나 카메라로 돌아오는 데 걸리는 빛의 시간을 측정한다. 각 픽셀은 특정 3D 데이터 포인트를 산출할 수 있다. 그러나 이러한 전문화된 카메라는 일반적으로 CCD와 CMOS 산업용 카메라에 비해 픽셀 수가 제한되어 공간 분해능이 떨어진다.
필요한 정확도가 밀리미터 혹은 센티미터로 측정되는 대형 작업 공간의 경우 ToF 카메라는 3D VGR 애플리케이션에 대한 매력적인 솔루션이 될 수 있다.
3D VGR 시작하기
모든 비전 안내 로봇 애플리케이션은 동일한 위치, 즉 대상 부분에서 시작된다. 사용자는 다음을 포함하여 많은 질문을 해야 한다.
- 대상 부분은 무엇이며 비전 시스템에는 어떻게 나타날 것인가? (큰 vs. 작은, 반사 vs. 무딘, 약한 vs. 강인한)
- 애플리케이션이 기본적으로 2D, 또는 3D?
- 애플리케이션에 어떤 종류의 로봇이 필요한가? (워시 다운 혹은 클린 룸에 SCARA?, 큰 하중에는 데카르트?, 3D 제조 혹은 재료 취급을 위한 다 관절 로봇?)
- 부품을 조립하는 동시에 부품의 품질 검사 혹은 추적과 핸들링 수행? (전용 스마트 카메라로 검사와 결함 분류 작업을 수행하거나 VGR 솔루션 외에도 자동 ID 카메라 추가)
- 어떤 종류의 머신비전 시스템이 필요한가? (2D VGR을 위한 스마트 카메라?, 중간 처리량을 위한 PC 호스트가 있는 단일 카메라 구조화 된 조명 솔루션?, 고해상도 혹은 대용량 3D VGR을 위한 다중 카메라 입체?)
- 로봇을 위한 2D 혹은 3D 오프셋을 생성하는 데 필요한 카메라는 무엇인가?, 그리고 사용자의 요구에 따라 결함을 검사할 가능성이 있는가? (스마트 카메라, 고해상도 CCD, 고 프레임 레이트 CMOS, 오버 헤드 마운트 그리고 로봇 마운트 등)
- 머신비전 시스템은 무엇을 달성해야 하는가? 이는 이미지 프로세싱 소프트웨어 선택에 영향을 미치며 VGR 시스템이 생산을 늦추지 않도록 하기 위해 어떤 컴퓨터 하드웨어가 필요한가? (특수 3D VGR 알고리즘이 필요한가?, 특정 로봇 컨트롤러 제조업체의 API(Application programming interfaces)?, 스마트 카메라 vs. PC 호스트?)
- 어떤 종류의 빛이나 그 조합이 당신의 VGR 애플리케이션에 가장 잘 작동되는가? (스트로브, 컬러, 레이저 등?)
- 로봇, 비전 시스템 그리고 시스템 네트워크 간에 필요한 네트워크 연결은 무엇인가? (시스템이 제조 실행 시스템(MES)에 연결되는가? 나중에 분석하기 위해 이미지를 보관할 예정인가?)
- 운영자는 VGR 솔루션과 어떻게 상호 작용할 것인가? (터치 스크린, 로봇 컨트롤러의 HMI 혹은 비전 시스템?)
비전 가이드 로봇 애플리케이션에 익숙한 통합 업체와 협력하면 이러한 질문에 쉽게 답하고 일반적인 함정을 피할 수 있다.
예를 들어, 로봇 탑재형 카메라는 카메라에서 비전 시스템으로 데이터를 전송하는 케이블이 필요하다. 로봇의 일정한 반복 동작은 케이블에 무리를 줄 수 있으며 잘못된 케이블은 로봇의 움직임을 제한할 수 있다. 많은 회사에서 이러한 문제를 피하는 VGR 애플리케이션을 위해 특수 설계된 ‘플렉스(flex)’ 케이블을 제공한다. 머신비전 공급 업체는 데이터 케이블과 전원 케이블을 하나로 결합한 PoE(Power over Ethernet) 솔루션을 제공함으로써 통합자에게 케이블을 고정시켜야 하는 케이블 양을 줄여 통합 업체를 더욱 쉽게 지원할 수 있다.
또한, 통합자는 사용자가 로봇과 비전 시스템 사이의 모든 중요한 교정과 통신 요구 사항을 단순화하는 고품질 머신비전 소프트웨어 솔루션을 선택할 수 있도록 도와준다. 예를 들어, Cognex의 VisionPro 보정 루틴은 모든 산업 카메라에 공통된 렌즈 왜곡과 롤오프(roll-off)를 보정할 뿐만 아니라 비전 좌표계와 로봇 좌표계를 신속하게 일치시킬 수 있다.
또한, 대부분의 로봇은 직렬 또는 이더넷 통신을 사용하여 비전 시스템과 통신하지만, 모든 로봇 컨트롤러에는 데이터 통신 방법에 대한 고유한 요구 사항이 있다. Cognex는 표준 직렬 통신과 특수 직렬 통신을 사용하는 두 가지 로봇의 드라이버를 제공하며 다음과 같은 이점이 있다.
사전에 구성된(내장된) 직렬 통신
- Motoman- Kuka- ABB- Fanuc
- Denso- Staübli- Kawasaki
표준 직렬 통신을 사용하는 로봇(특별한 드라이버 없음)
- Adept - - Epson- IAI- Mitsubishi
- Nachi- Yamaha- 기타 등등
VGR 경쟁 장점
로봇 시스템을 효과적으로 사용하는 회사는 처리량을 높이고 생산 비용을 낮출 수 있다. 제품 품질을 개선하고 재작업과 폐기물을 줄인다. 지리적 영역에서 제품 품질을 정상화한다. 저비용 노동의 가용성에 관계없이 생산을 최종 시장으로 더 가깝게 접근해야 한다. 기존의 노동 비용을 줄인다. 추가 채용, 교육, 그리고 초과 근무 비용을 들이지 않고 생산 교대를 추가한다. 위험하고 반복적인 작업으로부터 근로자를 보호한다.
회사는 머신비전 기술을 추가함으로써 2D, 혹은 3D 머신비전 지침으로 제품 추적, 책임 감소, 공급 망 관리 개선, 품질 향상, 그리고 도전 라인 및 프로세스 문제를 해결하고 로봇 자동화 사용을 크게 확장할 수 있다. 비전 가이드 로봇의 장점은 회사의 수익을 크게 향상시켜 시간, 돈, 그리고 자원을 절약할 수 있다.
자료 제공: Cognex(www.cognex.com)
