공장자동화 실현을 위한 올바른 3D 솔루션을 얻는 방법
Framos
1 기술
1.1. 산업에서 3D 기술의 장점
비전 데이터는 산업 비즈니스를 변화시킬 수 있다. 왜냐하면 생산 라인, 창고 및 산업 시설에서 자동화된 프로세스를 생성할 수 있는 기능을 IoT 시스템에 제공하기 때문이다. 3D 데이터는 지능형 장치가 실시간으로 자율적인 결정을 내리는 실시간 공급망의 핵심이다. 본문은 3D 비전이 지능형 자동화를 주도하는 방법과 스마트 생산 프로세스에서 3D 비전 통합을 활용하는 것이 얼마나 쉬운지를 소개한다.
비전 기술은 산업 자동화의 핵심 동인 중 하나다. 이 출발점은 실시간 정밀 3D 데이터이다. 3D 데이터는 밀리초 마다 개체의 모양, 거리, 위치 및 회전 정도에 대한 정확한 정보를 전달할 수 있다. 기계에 광학 감각을 제공하고 기계 학습 기능과 함께 환경을 인식할 뿐만 아니라 이해하고 상호 작용하며 학습할 수 있다.
이 의인화(anthropomorphic)된 시각적 감지는 향상된 수준의 인식, 개체 조작 및 추적을 제공한다. 이제 로봇은 사람과 같은 물체를 선택하고 이동 충돌을 방지하며 안전 울타리를 피할 수 있다. 3D 데이터는 로봇이 온보드 인텔리전스 또는 클라우드 분석을 통해 실시간으로 주변 환경을 분석하고 자율적인 의사결정을 내릴 수 있게 해준다.
Embedded Vision 기술은 보조 장치를 반복적인 서비스 공급자에서 지능형 파트너로 바꾼다. 이 파트너십은 무고장 생산을 가능하게 한다. 또한 3D Vision과 추적 기술은 산업 운영의 생산성, 안전성, 응답성을 높인다. 동시에 복잡성, 비용, 시스템 중단 등 총체적 위험을 줄인다.
3D 이미징 및 AI는 더 이상 새로운 것이 아니다.
최근 두 기술의 조합이 산업에서 자동화를 발전시켰고 디지털 미래로 전환시켰다.
산업용 IOT 솔루션을 위한 효율적 프로세스
과거에는 3D 데이터의 정확한 캡처가 어려웠다. 2D 데이터, 데이터 추정, CAD 모델 및 부정확성과 지연 시간이 포함된 데이터 처리 알고리즘이 조합된 복잡한 시스템이 필요했다. 이 집계는 자율 장치 및 실시간 애플리케이션에 대한 옵션이 아니었다.
오늘날 즉시 사용 가능한 3D 비전 카메라는 강력한 온보드 처리 기능을 갖추면서 합리적인 가격으로 제공된다. 이러한 성능을 통해 열악한 산업 환경에서도 장치 및 자동화 시스템에 원활하게 통합할 수 있다. 3D Vision 기술은 데이터 처리, 시스템, 신뢰할 수 있는 인프라 및 생산 라인을 가능하게 한다. 따라서 3D 비전은 업계의 자율 장치 및 자동화 프로세스의 핵심이다.
3D 비전은 자동화에 혁명을 일으켰다. 이는 생산 체인의 자율 로봇, AGV(Automatic Guided Vehicles) 및 스마트 감시 시스템을 위한 산업용 IoT 솔루션의 기반이 된다. 인공지능 및 실시간 정밀도와 결합된 비전 솔루션은 안정성과 우수한 품질 그리고 혁신을 보장한다. 모든 산업의 주요 목표는 자동화 시스템이 재료와 프로세스 흐름을 자체적으로 유도하는 것이며 임베디드 3D 비전은 이에 대한 기본이 된다.
1.2. 3D 데이터 캡처 방법
산업용 3D 데이터는 레이저 또는 LiDAR와 같은 다양한 방법으로 생성할 수 있다. 수동 스테레오 비전(passive stereo vision), 능동 스테레오 비전(active stereo vision)이다. 아울러 ToF(time-of-flight) 방법은 특히 합리적인 속도로 움직이는 물체를 실시간으로 검사하는 데 적합하다.
1.1.1. 수동 스테레오 비전
일반적으로 수동 스테레오 비전프로세스를 위해 두 대의 카메라가 서로 고정된 거리에 설치된다. 관심 객체의 거리는 좌우 영상의 각 기준점을 삼각 측량하고 두 기준점 사이의 시차를 계산하여 결정된다. Density Disparity Maps는 색상 코딩과 함께 3차원을 포함해 보여준다.
시차가 작을수록 각 점이 어두울수록 물체가 카메라에서 더욱 멀어진다. 디스패리티 기반의 삼각 측량 기술(disparity-based triangulation techniques)의 장점은 거리에 대해 계단식 간격이 없다는 사실이다. 따라서 매우 높은 정확도를 얻을 수 있다.
반면 매우 균일한 질감이 단점이다. 전체 표면이 동일한 윤곽을 가지며 카메라가 적절한 기준점을 감지할 수 없다. 여기에서 3D 기술이 필요하다.
1.2.2. 능동 스테레오 비전
삼각 측량 계산은 능동 스테레오 비전 방법에서도 작동한다. 존재하지 않는 텍스처를 시뮬레이션하기 위해 패턴의 투영을 통해 정보가 이미지에 추가된다. 치수와 거리를 비접촉 방식으로 정확하고 신속하게 측정할 수 있다.
능동 스테레오 비전의 단점은 원거리에서 빔이 패닝(fanning)될 수 있다는 것이다. 기준점의 드리프트(drift)는 해상도가 떨어지고 부정확한 결과를 초래할 수 있다.
1.1.2. ToF
카메라의 원리는 레이저 또는 적외선 펄스가 카메라에서 물체로 그리고 다시 카메라로 이동하는 주기를 기반으로 한다. 주기가 길수록 카메라와 물체 사이의 거리가 멀어진다.
ToF는 초당 최대 100프레임에서 펄스당 전체 장면을 측정하고 VGA 해상도에 접근한다. ToF 솔루션은 다른 시스템에 비해 매우 간단하고 콤팩트하다. 움직이는 부품이 없으며 렌즈 옆에 일체형 조명이 장착되어 있다. 간단한 거리 계산으로 인해 ToF 카메라는 처리 및 작동 모두에 전력을 거의 소모하지 않다.
그러나 작업이 복잡한 경우는 임베디드 비전 애플리케이션 및 고해상도, 통합 가능한 3D 카메라 또는 수동 및 능동 스테레오 비전의 조합된 모듈이 더욱 효과적이다.
이 기사는 실시간 처리로 고해상도를 제공하고 산업 요구 사항에 맞게 조정된 능동 및 수동 스테레오 비전이 결합된 카메라 모듈에 중점을 둔다. 이러한 카메라 모듈의 장점은 열악한 환경에서 쉽게 통합 및 적용할 수 있기 때문이다.
그 예로는 Intel® RealSense™ 기술을 기반으로 하는 3D 카메라 및 임베디드 비전 모듈이다. FRAMOS®는 GigE Vision 프로토콜을 사용하여 산업용 버전 D435e를 개발했다. 이 카메라는 능동 및 수동 스테레오 비전 프로세스를 모두 결합하며 모든 산업 표면에 적합하다. 패턴 프로젝터는 필요에 따라 켜거나 끌 수 있으며 균일한 질감에 대한 기준점을 제공한다.
능동이든 수동이든 삼각 측량 계산과 맵 생성은 시간이 많이 소요되는 프로세스였다. 대부분 별도의 PC 호스트에서 수행되었다.
Intel 또는 FRAMOS의 3D 솔루션은 알고리즘 처리를 위해 이미지 센서 바로 뒤에 설치된 ASIC 칩을 가지고 있어 독점적인 3D 작업을 수행하고 실시간으로 온보드 처리를 보장한다.
산업용 3D 비전 시스템의 기준
산업 환경에서 3D 이미지 처리를 수행하려면 카메라에 특별한 요구 사항이 필요하다. 특히 열악한 생산 조건이나 실외 시나리오에 해당된다. 가장 중요한 것은 카메라가 먼지와 물과 같은 외부 영향으로부터 안정적으로 보호되어야 하고 고온 및 저온을 견딜 수 있어야 한다는 것이다. 움직일 수 있는 경우에도 모든 물체를 안정적으로 감지할 수 있어야 한다.
예를 들어 로봇 팔이나 진동 기계에서 또한 데이터 전송은 고정 커넥터를 통해 긴 거리에서도 안정적이고 지연이 없어야 한다. 예를 들어, GigE Vision 전송 프로토콜을 사용하면 복잡하지 않고 빠르게 SSPS 및 임베디드 생산시스템과 통합되며 표준 산업용 커넥터를 통해 쉽게 구현된다.
산업 환경을 위한 3D 카메라 요구 사항
•- 먼지와 물 보호: 예- 보호 등급 IP 66에 따름
•- 모션 및 진동 저항: 예: 나사로 조인 커넥터, 접착 렌즈, 로봇 팔에 고정 부착
•- GigE Vision 표준과 같은 산업용 인터페이스
•- 긴 케이블 길이(최대 100m)
•- 넓은 온도 범위
•- 쉬운 통합
2 애플리케이션
2.1.3D 현장에서의 비전
2.1.1. 로봇, 픽 앤 플레이스
로봇은 수십 년 동안 업계에서 사용되어 왔다. 2D로 장애물을 감지하고 마커를 사용하여 공간을 탐색해왔다. 그러나 3D 센싱 및 AI 알고리즘은 로봇을 자율적으로 생각하고 행동하는 협력 파트너로 변화시킨다. 이제 로봇 시스템에 완전히 통합된 3D 기술은 로봇 시스템을 더욱 빠르게 만들고 실시간으로 물체를 감지할 수 있도록 한다. 위치 및 거리 측정은 더 이상 오래된 데이터, CAD 모델 또는 모호한 가정을 기반으로 하지 않는다.
로봇은 목표를 인식하고 즉시 고정밀로 반응한다. 3D로 인식되는 개체는 단순히 윤곽선 모양에 따라 캡처 되는 것이 아니다. AI 알고리즘은 이를 분류하고 분류할 수 있다. 무작위 선택 애플리케이션은 훨씬 빠르고 정확한 3D 카메라를 구현할 수 있으며 설계가 훨씬 덜 복잡하다. 사람과 기계가 작업 공간을 공유하는 경우 3D 비전이 제공하는 속도와 정밀도는 안전에 매우 중요한 역할을 한다. 이를 통해 사람과 기계는 말 그대로 함께 일할 수 있다.
픽 앤 플레이스 애플리케이션을 위한 3D 기술 구현은 6가지 자유도(앞/뒤, 위/아래, 왼쪽/오른쪽, w/RC)에서 개체의 모양, 위치, 방향 및 거리를 캡처한다. 이러한 동작 구성은 로봇이 이동 위치와 방법을 정확히 알고 충돌을 피하며 대상 물체의 속도를 감지하는 데 필요하다. 이 시나리오는 생산 라인에 특히 중요하다.
또한 높은 수준의 복잡성이 있다. 변화하는 조명 조건이나 예측할 수 없는 사건에 노출되기 때문이다. 3D 비전 기술은 실시간으로 생산 및 가공을 구현하는 유일한 방법이다. 여기서 3D 영상 처리의 가장 큰 장점은 이 기술이 시험 학습 행동을 요구하지 않는다는 것이다. 혼란스러운 구성 요소 레이어와 스택 구성 요소에도 CAD 모델이 필요하지 않다. 실시간 사각지대가 없고 오류율이 낮은 상세한 이미지가 생성된다.
따라서 카메라와 좋은 해상도의 이미지 센서가 모두 제공되는 경우 빠르게 움직이는 애플리케이션에서 더욱 강력하다. 다양한 색상, 모양 및 물체를 생산 영역에서 단일 그리퍼로 처리할 수 있다.
또한 로봇이 일회용으로 사용하는 3D 프린터를 사용하여 수동 요소를 비용 효율적이고 빠르게 생산할 수 있다(예를 들어, 의학에서 또는 음식을 취급하는 동안). 3D 기술과 AI를 결합하면 기계를 스스로 학습할 수 있는 지각 있는 존재처럼 인식할 수 있다. 3D 데이터는 기계가 즉각적이고 정확하게 반응할 수 있도록 차내에서 처리되어야 하므로 로봇과 인간 간의 안전하고 간단한 상호 작용 및 협업이 가능하다.
2.1.2. 물류 및 화물 관리
무인 차량 및 운송 시스템, 모바일 로봇 및 AGV는 생산 라인, 창고 및 내부 물류를 지원하고 자동화한다. 상호 연결된 이 물류 도우미는 창고와 화물 센터를 통과하여 상자를 들어 올리고 이동한다. 그리고 물건을 찾아서 작업자에게 가져온다. 물론 상자와 물건도 청소할 수 있다.
이러한 디지털 서비스 제공업체는 카메라의 3D 데이터를 기반으로 정확한 물체, 위치 및 거리 인식을 획득한다.
SLAM(Simultaneous Location and Mapping) 지도 제작을 사용하여 밀리초 단위로 환경을 기록하고 독립적으로 탐색할 수 있다. 또한 고정되거나 움직이는 장애물 모두에서 경로를 식별하고 알려지지 않은 새로운 상황에서 충돌을 피할 수도 있다.
상호 연결된 여러 로봇은 서로 통신하고 독립적으로 작업을 조정할 수 있다. 이 기능은 창고에서의 원활한 운영과 프로세스와 작업자 모두를 위한 최적의 지원을 보장한다. 이 작고 다면적인 로봇은 물류 체인에서 엄청난 효율성을 창출한다.
미래에 AGV는 호텔의 디지털 리프트 보이(digital liftboys) 및 룸서비스 도우미로, 또는 슈퍼마켓의 재고 서비스용으로도 생각할 수 있다. 뮌헨 공항은 올바른 출발 게이트로 안내자로 모바일 서비스 로봇 ‘Josie Pepper’를 테스트하고 있다.
사례 연구
IRiS: 로봇이 컨테이너 하역을 도와준다
브레멘 대학(BIBA)의 브레멘 생산 및 물류 연구소(Bremen Institute for Production and Logistics)는 ‘해양 컨테이너 비우기를 위한 대화형 로봇 시스템(IRiS)’ 프로젝트를 시작했다. 연구소는 FRAMOS 및 기타 회사를 개발 파트너로 하여 40피트 표준 컨테이너의 자동 하역을 연구하고 있다. 지능형 로봇은 대부분 수동 작업이었던 이 무거운 작업을 자동화할 것이다.
전 세계적으로 운송되는 모든 해상 컨테이너의 대부분은 항구에서 직접 선적 및 하역된다. 내부 부피가 65 m3이고 탑재하중이 26 ton인 이 컨테이너는 개별 패키지 무게가 35 kg인 패키지를 최대 1,800개까지 수용할 수 있다. 이러한 컨테이너의 하역은 아직까지 자동화되지 않은 프로세스 중 하나이다.
높은 복잡성과 까다로운 포장 및 하역 시나리오로 인해 현재까지 완전 자동화된 하역이 불가능하다. IRiS 프로젝트의 목표는 작업 조건을 개선하고 항구에서 환적(transshipment) 프로세스의 효율성을 높이는 것이다. 모바일 로봇은 기존 인프라의 변경 없이 가능한 한 최단 시간 내에 독립적으로 해상 컨테이너를 하역할 수 있어야 한다.
혁신적인 그리핑 시스템을 갖춘 로봇은 항구 게이트를 통해 자율적으로 이동하여 컨테이너에 들어간다. 머신 러닝 방식으로 다양한 포장 시나리오를 독립적으로 분류하고 컨테이너를 최적으로 언로드 한다. 인공 지능을 구현하는 FRAMOS는 IRiS 프로젝트 내 산업 이미지 처리 전문가로서 컨테이너 내용물 분석을 위한 최첨단 방법을 개발할 것이다.
FRAMOS의 제품 개발 책임자인 Chris Barrett은 “객체 인식은 2D 및 3D 이미지 데이터를 기반으로 한다. 최첨단 이미지 처리 방법을 사용하고 이를 기계 학습 메커니즘과 결합한다. 예를 들어 딥 러닝 프로세스를 통해 컨테이너를 완전히 자동으로 내릴 수 있는지 또는 특별한 상황에서 로봇의 수동 제어가 필요한지 여부를 감지할 수 있다. 적재물의 위치와 방향은 사전에 완전히 분석되어 하역 과정에 대한 최적의 계획을 제공한다.”고 설명했다.
이러한 과정은 로봇과 작업자 간의 간단하고 민첩한 상호 작용 또는 하나 이상의 로봇을 직관적으로 제어할 수 있다. 직원은 제어 스테이션에서 언제든지 로봇을 모니터링 할 수 있으며 프로그래밍 지식 없이 오작동 발생 시 신속하게 제어할 수 있다. 이 운영 시설은 비용이 많이 드는 시스템으로 다운타임의 위험을 최소화해야 한다. IRiS 프로젝트는 항만 근로자의 구호, 하역 시간 단축 및 처리 능력 극대화에 중점을 뒀다.
기계 학습 기술은 IRiS 프로젝트의 최신 Intel® RealSense™ 기술로 자가 학습 3D 알고리즘과 혁신적인 센서 기술을 기반으로 한다. 3D 카메라, 깊이 모듈 및 지능형 알고리즘은 모든 산업 분야의 다양한 시나리오에 적용할 수 있다.
인공 지능과 3D 기술을 사용한 시나리오 및 객체의 인식, 측정 및 분석은 산업 자동화 및 로봇 공학과 품질 관리를 지원한다. 안전 및 감시 기능을 강화해 자율주행, 드론 분야에서 혁신적인 솔루션을 제공한다.
2.1.3. 판매 분석
3D 기술과 인공 지능의 최근의 대표적인 예 중 하나는 Amazon의 슈퍼마켓 ‘GO’에서 시연된다. 여기에서 고객은 현금을 요구하지 않으며 계산대에서 돈을 지불할 필요도 없다. 그들은 단순히 상점에 들어간다. 원하는 제품을 들어 장바구니에 담는다. 매장은 완전히 모니터링되고 3D 카메라와 이미지 인식을 사용하여 고객이 장바구니에 담았던 상품을 확인한다.
Amazon 직원은 고객의 안면 인식을 사용하여 신용 카드 또는 직불 카드에서 직접 청구한다. 지능형 카메라는 쇼핑객의 표정을 등록한다. 알고리즘이 고객을 어리둥절하거나 의심스러운 시선으로 판단할 때 Amazon 직원이 도움을 제공할 수 있도록 한다.
Amazon은 이 데이터를 사용하여 고객 행동을 분석하고 제품에 대한 반응을 평가한다. 결정 경로의 맵을 생성하고 매출과 이익을 높이기 위한 결론을 도출한다.
2.2. 3D 데이터는 전략적 결정을 지원
대량의 3D 데이터 분석은 전략적 결정에 도움이 된다. 자동화 외에도 3D 이미지 처리의 또 다른 큰 잠재력이 여기에 나와 있다.
프로세스를 전체적으로 모니터링할 수 있으며 이전에는 볼 수 없었던 상관 관계 및 기타 결과를 도출할 수 있다. 결과적으로 딥 러닝 알고리즘은 이를 위해 획득한 데이터를 종합적으로 평가한다.
자료 제공: Framos(www.framos.com)
