자율주행을 위한 자동차 이미징 기술의 발전
2022년 09월 27일
트위터로 보내기페이스북으로 보내기구글플러스로 보내기

차량이 초기 ADAS 지원과 운전자 제어 방식에서 완전한 자율주행으로 전환됨에 따라, 이미지 센서의 성능은 점점 더 중요해지고 있다. 특히 모든 도로 이용자들을 안전하게 보호하기 위해 주변 환경을 감지하는 이미저(imager)에서는 이미지 센서가 더욱 중요하다.


열악한 조명과 고온으로 인해 센서 성능이 저하될 경우 도로 상황을 파악하기 어려워진다. 따라서 이미지 센서는 어떤 조건에서도 자율주행을 할 수 있도록 우수한 성능을 제공해야 한다. 이 글은 이미지 센서가 자율주행 과제를 해결하고 업계가 요구하는 가격대와 성능을 제공하기 위해 최신 기술을 통해 어떻게 발전해왔는지 살펴본다.



3a715a6f764c616f6e7aa01771df3df6_1664271189_7691.jpg


차량 운행 방식이 운전자가 온전히 차량을 제어하는 방식에서 운전자 지원 기능을 통해 궁극적으로 차량이 모든 운전 작업을 수행하는 방향으로 변화함에 따라, 차량이 주변을 감지하는 것이 필수적이게 됐다. 차량에는 여러가지 센서 양식이 사용되는데, 그중에서 이미지 센서는 모양, 질감 및 색상을 포착할 수 있는 고유한 기능과 함께 상대적으로 저렴한 비용으로 인해 가장 다양한 용도로 널리 사용된다.


자동차 환경에 이미지 센서를 적용하는 것은 많은 어려움이 따른다. 젖은 도로에서의 조명은 극도의 대비와 눈부심을 유발할 수 있고, 비, 안개, 눈과 같은 기상 상태는 가시성을 방해할 수 있다. 또한 신호등, 도로 표지판, 차량의 전조등과 후미등은 일반적으로 LED 조명을 사용하는데, LED 조명은 효율적이라는 장점을 가지지만 동시에 펄스(pulse)로 구동된다는 단점도 있다. 이것이 인간의 눈에는 보이지 않지만, 이미지 센서에는 깜박거리는 이미지 스트림으로 표시된다.


자동차 비전의 주요 역할 중 하나는 차량의 경로에 있는 물체를 감지하는 것이다. 물체를 먼 거리에서부터 감지할수록 차량이 사용할 수 있는 의사 결정 및 반응 시간이 더욱 길어지기 때문에 멀리 있는 물체를 식별하기 위해 높은 해상도와 화질이 필요하다.


전방 주시뿐만 아니라 360도 시야 및 조수석 모니터링 기능을 제공하기 위해 차량 시스템에 많은 이미지 센서가 배치되면서, 비용이 중요해졌다. 어떤 자동차에는 12개가 넘는 이미지 카메라가 탑재되기도 한다.


어시스턴스에서 자동화로의 전환


미국 SAE(Society of Automotive Engineers)는 주행이 전혀 자동화되지 않은 차량부터 모든 주행 조건 하에 완전 자동화된 차량에 이르기까지 총 6단계의 자율주행 모델을 정의했다. (그림 1 참고)


3a715a6f764c616f6e7aa01771df3df6_1664271699_808.png
그림 1. SAE 모델의 자동차 자동화 수준 6단계 



현재 많은 차량에서 고속도로 차선이탈 보정과 같은 가장 기본적인 제어가 가능한 레벨2 운행이 가능하다. 레벨 2에서 레벨3으로의 전환은 중요한 의미를 가지는데, 레벨3에는 더욱 자동화된 차량 이동 제어가 필요하기 때문이다. 이를 지원하기 위해 이미지 센서는 현재 일반적으로 사용되는 것보다 4배 강화된 8메가픽셀(MP)의 해상도를 제공해야 한다. 이는 고속도로와 같은 특정 상황에서 일부 자율주행을 운행하기에 충분한 성능이다. 레벨4와 레벨5  수준의 운행에서 이미지 센서의 해상도는 이보다 훨씬 높아야 하며, 모든 상황에서 자율주행 운행을 지원해야 한다.


마찬가지로 서라운드 감지 및 사각지대 카메라는 용도에 따라 해상도를 3MP 또는 8MP로 높이고, 동시 LED 깜박임 완화 및 HDR(High Dynamic Range) 동작을 통합하고 있다. 또한 논-베이어(non-Bayer) 필터는 저조도 작동을 개선하면서도 우수한 색상 성능을 제공하여 베이어(Bayer) CFA(color filter arrays)를 점점 대체해가고 있다.


픽셀 크기


센서의 해상도를 높이는 것은 픽셀 크기를 현재 기준 4.2μm에서 3μm까지 동일하게 유지할 경우 비용을 크게 증가시킨다. 그러나 픽셀 크기를 2.1μm로 줄이면 8MP 센서의 비용이 크게 감소하고, 이는 2.1μm 픽셀을 가진 8MP 센서가 4.2μm 또는 3μm 픽셀을 가진 8MP 센서에 비해 비용이 훨씬 더 저렴하다는 것을 의미한다. 상대적인 비용 비교는 그림 2에서 확인할 수 있다.



3a715a6f764c616f6e7aa01771df3df6_1664271739_7146.png
그림 2. 감소된 픽셀 크기는 비용을 크게 절감한다



여기까지 보면 저조도 성능, 신호 대 잡음비(SNR) 또는 HDR과 같은 중요한 성능 매개 변수를 약간 절충해야 한다고 생각할 수 있지만, 이 경우에는 아니다. 온세미 센서의 저조도 성능 수치(SNR1 및 SNR3)는 3.75µm, 3µm, 2.1µm 픽셀에서 실질적으로 유사하다. 새로운 온세미 2.1μm 픽셀 이미지 센서의 SNR 및 HDR 성능은 3μm 픽셀 이미지 센서보다 우수하다. SNR1 및 SNR3 메트릭스의 상대적 비교는 그림 3에서 참조할 수 있다.


3a715a6f764c616f6e7aa01771df3df6_1664271765_1051.png
그림 3. 감소된 픽셀 크기는 저조도 성능에 영향을 미치지 않는다



그리고 다른 공급업체의 3.0µm 3MP 또는 5MP 센서와 비교하면, 온세미 2.1µm 8MP 센서 솔루션은 비슷하거나 더 낮은 비용으로 감지 거리를 개선한다.


3a715a6f764c616f6e7aa01771df3df6_1664271790_4324.png
그림 4. 8.3MP 온세미 센서는 타사 3µm 센서보다 더 멀리 있는 물체를 감지할 수 있다



야간에 헤드라이트만으로 암석을 감지해야하는 어려운 테스트에서 3µm 3MP 및 5MP 센서는 각각 125m와 150m의 감지 거리를 기록했다. 반면, 온세미 센서의 감지 거리는 170m에 달했다(그림 4). 이렇게 감지할 수 있는 거리가 길어지는 것은 시스템 반응 시간에 더욱 여유를 주며, 안전성 향상에도 크게 기여한다.


이미지 품질과 더 높은 차량 온도


컬러 필터를 베이어에서 RYYCy 또는 RCCB로 변경하고 Clarity+와 같은 고품질 HDR 컬러 파이프라인을 통합하면, 센서 성능과 이미지 품질이 크게 향상된다. 논-베이어 컬러 필터 패턴은 더 많은 광자가 각 픽셀에 들어가도록 하여 저조도 성능을 향상시킨다. 이를 통해 센서는 까다로운 조건에서 주변을 더 잘 볼 수 있으며, 색상이 정확한 원본 캡처를 고품질 이미지로 처리할 수 있다.


SNR은 센서에 의해 생성된 이미지 내에서 물체를 감지하는 시스템의 기능과 관련되기 때문에 모든 이미지 센서에게 중요한 매개변수로 작용한다. 고온에서 일반적인 3µm 분할 다이오드 센서는 SNR이 약 20dB로 떨어진다. 이 단계에서 노이즈는 선명하게 보이고, 물체 감지는 더 어려워진다. 이와 유사한 온세미 센서는 30dB 이상의 SNR 레벨을 제공한다. 이 수준에서는 소음이 훨씬 적고 물체 감지가 쉬워 뷰잉(사물을 보는) 어플리케이션에 알아보기 쉬운 이미지를 제공한다.


온도는 항상 이미지 센서에게 까다로운 도전 과제로, 이미지의 품질과 성능을 크게 저하시킬 수 있다. 특히 센서가 수명의 80% 이상을 80°C 이상의 높은 접합 온도에서 작동해야 하는 자동차 애플리케이션에서 온도는 어려운 문제다. 자동차 애플리케이션의 센서는 작동 중 열을 내는 다른 전자 장치가 있는 작은 밀폐 공간에서 설계되고 뜨거운 직사광선을 받는 자리에 배치되기 때문이다.


125°C의 접합 온도에서도 2.1μm 픽셀 크기의 온세미 이미지 센서는 중/고조도의 조명 조건에서 25dB SNR 성능 이상을 달성할 수 있어 모든 운행 조건에서 정확한 물체 감지가 가능하다.


최신 2.1µm 자동차 HDR LFM 이미지 센서


온세미의 최신 자동차 이미지 센서는 최신 2.1um Super Exposure 픽셀의 3840 x 2160(8.3MP) 해상도를 제공한다. 이 센서는 최대 155dB HDR 이미지를 생성하고 플리커프리(Flicker-Free) 동작으로 110dB를 초과하는 진정한 LED 플리커 완화(LFM) 픽셀 기술을 통합한다. 최대 60fps의 HDR 프레임 레이트가 가능하며, 프레임 레이트를 45fps로 줄이면 HDR이 110dB에서 145dB 이상으로 증가한다.


3a715a6f764c616f6e7aa01771df3df6_1664271842_4933.png
그림 5. 온세미 2.1µm 센서(왼쪽)와 타사의 3µm 센서(오른쪽) 이미지 품질 비교



저조도 성능과 관련하여 2.1µm 센서는 최고의 3µm 픽셀 센서와 비슷하거나 더 나은 성능을 가지고 있다. 그림 5는 타사의 3µm 센서와 비교해 2.1µm 센서의 HDR 이미지 품질 차이를 보여주며, 이는 훨씬 더 나은 동적 범위를 강조하며 더 나은 세부 사항과 함께 신호등의 실제 색상을 포착한다. SNR전이는 최대 100°C의 접합 온도(Tj)에서 30dB 이상이고 극한 온도(Tj=125°C)에서도 SNR은 25dB를 초과한다. 모든 조건에서 센서는 부분적으로 RGGB, RCCB, RCCG 및 RYYCy와 같이 베이어 및 논-베이어 CFA 기술의 범위로 만들어진 높은 색재현성으로 선명한 이미지를 생성한다.


요약


주변 환경을 감지할 수 있는 고성능 이미저에 대한 첨단 자율주행 차량의 의존도가 점점 더 높아지고 있다. 이미지 센서 성능을 높일 수 있지만 비용을 늘리지 않고 이를 수행하기는 어렵다.


온세미 이미징 디바이스 설계는 픽셀 크기를 줄임으로써 8MP 센서를 저조도 성능 SNR 및 HDR을 손상시키지 않고 현재의 2MP 4.2µm 센서 및 4-5MP 3µm 센서와 유사한 가격으로 만들 수 있음을 입증했다. 또한 논-베이어 CFA를 통합하면 가장 중요한 저조도 성능이 더욱 향상된다.


센서가 내부의 열을 생성하는 구성 요소가 있는 제한된 공간에 수용되고 햇빛에 노출되는 상황을 포함해 온도는 언제나 까다로운 과제이다. 온세미 센서는 최대 125°C의 온도에서 우수한 성능을 제공하며 모든 작동 조건에서 고품질 이미지를 포착할 수 있다.


차세대 이미지 센서는 더 많은 자율성을 갖춘 안전하고 유능한 차량으로의 전환에 있어 아주 중요한 요소이다.



글 / 세르게이 벨리치코(Sergey Velichko), 온세미 ASD 기술 및 제품 전략 수석 매니저 
그래픽 / 영상
많이 본 뉴스