Triton HDR 카메라, 자동차 감지 애플리케이션용 HDR 이미징
자동차 산업, 특히 자율주행차와 첨단 운전자 보조 시스템 (ADAS)을 갖춘 차량 분야는 이미징 및 시각적 인식과 관련하여 수많은 과제에 직면해 있다. 자동차 비전 시스템의 필수 부분인 카메라는 온도 변화, 날씨 변화, 다양한 지형 등 다양하고 까다로운 환경 조건에 직면한다. 카메라는 또한 수많은 LED 조명이 포함된 환경을 탐색한다. 이러한 환경에서 카메라는 안전하고 정확한 차량 작동을 보장할 뿐만 아니라 AI 학습을 위한 풍부한 데이터 이미지를 제공하기 위해 원활하게 작동해야 한다.
또한 카메라는 단독으로 작동하지 않으며 시스템 내의 다른 감지 기술과의 효과적인 통합 및 조정이 필요하다. 자동차 비전 시스템에 사용되는 카메라의 성능과 견고성은 오늘날 차량의 성공과 안전에 매우 중요하다. 이러한 문제를 해결하는 솔루션 중 하나는 Sony의 IMX490 HDR 센서와 LUCID의 AltaView의 혁신적인 온-카메라 톤 매핑 엔진을 갖춘 최첨단 IP67 머신 비전 카메라인 Triton HDR이다.
▲ 사진 왼쪽은 기존의 카메라로 촬영한 모습, 오른쪽은 AltaView가 탑재된 Triton HDR 카메라로 촬영한 모습
자동차 감지
개방적이고 통제되지 않는 환경에서 움직이는 차량 플랫폼의 자동화를 가능하게 하는 다양한 센서와 기술이 있다. 이러한 시스템 은 모든 기상 조건에서 밤낮으로 야외에서 24시간 효과적으로 작동해야 한다. 레이더, LiDAR, 초음파, 비전 카메라 등 다양한 감지 방식이 이러한 시스템에 중요하며, 각각 자동차 감지 시스템에 고유한 데이터 세트를 제공한다.
• RADAR는 조명 조건이나 날씨에 관계없이 주변 물체에 대한 신뢰할 수 있는 거리 및 속도 측정을 제공하며, 이는 장애물을 감지하는데 유용하다.
• LiDAR(빛 감지 및 거리 측정)는 펄스 레이저 형태의 빛을 사용 하여 다양한 거리를 측정한다. 이 기술은 주변 환경에 대한 고해 상도 3D 정보를 제공하여 매우 정밀하게 물체를 감지하고 위치를 파악할 수 있다.
• 초음파 센서는 짧은 음파를 보내 근접 물체를 측정하며 주로 주차 지원 및 사각지대 감지에 사용된다.
• 기존, 적외선 및 HDR(High Dynamic Range) 버전을 포함한 카메라는 상세한 시각적 정보를 캡처하므로 차선 감지, 교통 표지판 인식, 보행자 감지와 같은 작업에 필수적이다. 또한 카메라 데이터는 RADAR/LiDAR 정보와 결합될 수 있다. RADAR 및 LiDAR는 물체의 크기와 위치를 식별하는 반면, 카메라는 향상된 분류를 위해 도로 표지판과 같은 질감을 인식하여 추가적인 상황 정보를 제공한다.
상호 보완적인 장점을 지닌 이러한 센서 유형은 여러 센서의 데이터를 결합하여 보다 완전하고 정확하게 환경을 이해하는 센서 융합이라는 프로세스에서 함께 사용되는 경우가 많다. 이러한 기술의 조합은 차량 주변에 종종 ‘안전 권역’이라고 불리는 것을 형성하여 안전하고 효율적인 작동을 지원하기 위해 차량 주변에 대한 포괄적인 실시간 정보를 제공한다.
이러한 기술 및 통합 전략의 지속적인 발전으로 자동차 비전 시스템과 자율주행차의 미래는 큰 가능성을 보여준다. 자율주행차와 첨단 운전자 지원 시스템(ADAS)의 경우 카메라는 자동차 비전 시스템에서 중요한 역할을 한다. 특히 HDR 카메 라는 기존 카메라에 비해 데이터가 풍부한 이미징을 제공한다.
그림1> ADAS용 감지 기술. 단일 센서 기술로는 ADAS의 모든 과제를 해결할 수없다. 각 기술에는 고유한 장점이 있으며, 모든 기술이 함께 작동하여 차량 주변에 ‘안전 권역’을 형성한다.
실외 및 기타 자동차 관련 과제 극복
실외 조건은 본질적으로 예측할 수 없으며 종종 몇 분 만에 빠르게 변할 수 있다. 자동차 비전 시스템에 사용되는 카메라는 다양한 조건에서 작동할 것으로 예상된다. 밤낮으로 상세한 이미지를 캡처하고, 비나 눈을 포함한 기상 조건을 견뎌야 하며, 먼지와 오물에 노출되어도 계속 작동해야 한다. 카메라는 또한 광범위한 온도 변화에 대한 탄력성을 갖고 물리적 충격과 진동을 견뎌야 한다.
가로 등과 함께 교통 신호, 전조등, 미등, 도로 표지판, 도시 및 광고 디 스플레이에 LED 조명이 보편적으로 존재하기 때문에 이러한 카메라가 탐색해야 하는 환경적 복잡성을 가중시킨다. 따라서 자동차 비전 시스템에 사용되는 카메라는 엄격한 성능 및 신뢰성 요건을 충족하기 위해 이러한 동적인 환경 조건을 견뎌야 한다.
낮과 밤, 고대비 장면
주야간 이미징에 사용되는 카메라는 저조도 감도, 저 노이즈, 그리고 가장 중요한 HDR을 갖추어야 한다. 이미징에서 동적 범위는 가장 밝은 톤과 가장 어두운 톤의 차이를 나타낸다. HDR 카메 라는 고대비 장면에서 더 많은 세부 정보를 효과적으로 캡처할 수있다. 실외 환경에서는 밝은 조명 영역의 정보를 유지하면서 어두운 영역 속에 있는 객체의 세부 사항을 캡처할 수 있다. 높은 동적 범위가 없으면 카메라는 제한된 양의 유용한 이미지 데이터로 이미지를 캡처한다.
예를 들어, 직사광선이 있는 장면에서는 밝은 빛이 자동차와 표지판 뒤에 그림자를 드리울 수 있다. 이 시나리오에서 자동 노출이 있는 Non-HDR 카메라는 올바른 노출을 식별하기 어려워 종종 태양과 하늘은 적절히 노출되지만 나머지 장면은 너무 어두운 과소 노출 또는 어두운 영역이 더 많이 노출되고 세부 정보를 모호하게 하거나 색이 씻겨 나가는 blown-out 장면을 희생시키는 과잉 노출을 초래한다.
궁극적으로 제한된 동적 범위로 인해 Non-HDR 카메라 성능이 저하된다. 그림자를 노출하고 하이라이트를 과다 노출하는 위험을 감수하거나 어두운 영역에서 세부 정보를 잃는 대신 밝은 영역을 우선시할 수 있다(그림2). 두 상황 모두에서 과다 또는 과소 노출은 객체 또는 노면 표시를 정확하게 식별하는 것을 더 어렵게 만든다.
<그림2> 제한된 동적 범위를 가진 Non-HDR 카메라는 성능 저하를 겪게 된다.
기존 HDR: 움직임에 적합하지 않음
HDR이 탑재된 카메라는 어두운 영역 및 밝은 영역 모두에서 보다 가시적인 디테일과 보다 유용한 데이터를 제공하는 이미지를 생성한다. 이는 카메라가 다양한 조명 조건에서 선명하고 상세한 뷰를 제공해야 하는 자동차 애플리케이션에 필수적인 사항이다. 그러나 모든 HDR 카메라가 동일하게 생성되는 것은 아니다. 기존 HDR 방식을 사용하는 카메라는 시간에 따라 순차적으로 촬영되는 여러 노출을 차례로 결합한다(그림3).
이 접근법은 움직이는 자동차 시스템에 적용될 때 심각한 단점을 발생시킨다. 다중 노출은 시간에 따라 순차적으로 캡처되므로 노출 간 장면의 움직임으로 인해 최종적인 결합 이미지에 불일치가 발생하여 모션 아티팩트가 발생한다(그림4). 이는 차량과 주변 환경이 지속적으로 움직이는 자동차 애플리케이션에서 특히 문제가 된다.
<그림3> 순차적 이미지. 일련의 다중 노출을 사용하는 기존 HDR 처리는 움직임이 있는 장면에 적합하지 않다. 이는 각노출 사이의 대기 시간으로 인해 모션 아티팩트가 발생하기 때문이다.
<그림4> 모션 아티팩트. 최종 HDR 이미지에는 심각한 모션 아티팩트가 있다. 이는 자동차와 건물의 왜곡에서 명백히 드러난다.
기존 HDR: LED 깜박임
기존 HDR과 관련된 또 다른 문제는 LED 깜박임이다. LED 조명은 도로 표지판 및 차량 조명을 포함하여 일상 환경 어디에나 존재하게 되었다. LED는 에너지 효율적인 조명을 제공하지만 비전 시스 템의 경우 문제를 제기한다. 기존 HDR 방법에는 변화하는 조명 조건에 대처하기 위해 자동 노출 조정이 포함되는 경우가 많지만, 이는 LED 조명의 깜박임과 같은 상황을 적절하게 처리하지 못할수 있다. AC LED는 종종 50~60Hz 범위의 주파수에서 작동하여 빛이 꺼지거나 깜박이기 때문에 밝은 조건에서 때때로 필요한 짧은 노출 시간이 LED 깜박임 시간과 일치할 수 있다.
<그림5> 기존 조명 LED 깜박임. 노출 시간이 매우 짧으면 50Hz 또는 60Hz에서 AC LED의 깜박임을 포착할 수 있다.
해결책: TRITON HDR 카메라
앞에서 언급한 4가지 주요 과제를 해결하는 솔루션 중 하나는 Sony의 IMX490 HDR 센서와 혁신적인 AltaView 온-카메라 톤매핑 엔진이 탑재된 최첨단 머신 비전 카메라인 LUCID의 Triton HDR이다. Triton HDR 카메라 설계는 IP67 등급의 보호 기능과 주변 온도 -20~55°C의 넓은 작동 온도를 특징으로 한다. IP67 보호 기능은 방진 기능 및 최대 1m 수심에서 30분간 방수 기능을 제공한다.
또한 해당 카메라는 물리적 충격, 충돌 및 진동(무작위 및 정현파)에 대해 시험 및 인증되었으며 견고한 M12 이더넷 연결을 사용하여 최대 길이가 100m인 차폐 케이블을 제공한다. 이러한 견고한 구조 덕분에 이 카메라는 열악한 조건을 견딜수 있으며 환경 요인 및 광범위한 온도 변화로부터 카메라를 보호할 수 있다.
• Sony IMX490 서브-픽셀 테크놀로지: Sony IMX490 HDR CMOS 센서 덕분에 Triton HDR 카메라는 120dB 이상의 동적 범위로 24비트 RAW 이미지를 캡처할 수 있다. 이 넓은 동적 범위를 통해 카메라는 자동 노출이나 자동 게인 없이도 어두운 영역과 밝은 영역 모두에서 세부 사항을 캡처할 수있다. 이는 카메라가 밝은 영역을 희생하면서 어두운 영역의 세부 사항을 캡처하거나 그 반대로 캡처하는 것 중에서 선택할 필요가 없음을 의미한다. 또한 24 비트 RAW 이미지 데이터는 연속 노출을 결합하는 것이 아니라 동시 노출을 위한 센서 고유의 서브-픽셀 구조를 활용하여 생성된다.
<그림6> Sony IMX490 센서. 서브-픽셀 센서 테크놀로지에는 대형 포토다이오드와 소형 포토다이오드가 모두 포함된다.
기존 HDR과 달리 Sony의 IMX490 센서는 노출 간 지연 시간이 없다. 모든 노출은 동일한 길이로 설정되고 동시에 발생하여 HDR 이미지에서 모션 아티팩트를 제거한다. 이는 센서의 각 픽셀에 대형 및 소형 포토다이오드가 모두 포함되어 있고 각 포토다이 오드 크기가 서로 다른 광 감도를 갖는 센서의 서브-픽셀 테크놀 로지 덕분에 가능하다. 또한 각 포토다이오드는 높은 변환 게인과 낮은 변환 게인으로 판독되므로 총 4개의 12비트 채널이 생성된 다. 그런 다음 이러한 채널은 처리되어 온-센서에서 단일 24비트 HDR 값으로 결합된다.
<그림7> 동시 노출. Sony의 IMX490 센서에는 2개의 서로 다른 크기의 픽셀(대형 1개, 소형 1개)이 있을 뿐만 아니라 각 픽셀에는 2채널 출력(높은 게인, 낮은 게인)이 있다. 이렇게 하면 최종 HDR 이미지에서 모션 아티팩트가 제거된다.
<그림8> LED 깜박임 완화. IMX490의 고감도 및 저감도 서브-픽셀은 IMX490이더 긴 노출 시간에서 작동하도록 하여 LED 깜박임을 평균화한다.
<그림9> 자동차 환경에서 사용되는 LED의 예
Sony IMX490 깜박임 완화: 서브-픽셀 테크놀로지의 주요 이점은 모션 아티팩트를 제거하는 것이지만 두 번째 이점은 LED 깜박임 완화이다. 앞서 언급했 듯이 기존 HDR 카메라는 포토다이오드의 과포화를 방지하기 위해 매우 짧은 노출 시간을 사용하여 밝은 장면에서 저감도 데이 터를 측정해야 한다. 불행하게도 이러한 짧은 노출은 LED 깜박임을 포착할 만큼 짧을 수 있다.
그러나 서브-픽셀 테크놀로지 덕분에 IMX490은 이렇게 매우 짧은 노출 시간을 사용할 필요가 없다. 왜냐하면 보다 민감한 포토다이오드를 사용하면 LED의 깜박임을 평균적으로 줄여 always-on LED로 이미지를 생성할 수 있을 정도로 약간 더 긴 노출 시간을 사용할 수 있기 때문이다.
자료제공: LUCID(www.thinklucid.com)
