반도체 전문 온라인 매거진 - 올포칩

글 / 덴 클레멘트(Dan Clement), 온세미(onsemi) 

1부와 2부에서는 다양한 첨단 운전자 지원 시스템(ADAS)의 역사를 살펴봤다. 이 시리즈의 마지막 기고인 본 기고에서는 완전 자율주행의 중요한 요구 사항 중 하나인 운전자 모니터링 및 졸음 감지에 대해 논의한다. 그런 다음 서라운드 뷰 및 미러 교체에 대해 설명하며 소프트웨어 정의 차량, 가상 및 증강 현실을 포함한 미래 기술 동향에 대해 논의하여 토론을 마무리한다.

졸음 감지기와 운전자 모니터링

많은 ADAS처럼 최초의 졸음 감지기도 본질적으로는 기계였다. 차선과 길가 사이에 설치된 노면요철 포장구간(rumble strips)이 완벽한 해결책은 아니지만, 졸음 충돌 통계에서 측정할 수 있는 차이를 만든 최초의 해결책이었다.(NHTSA: 미국 고속도로 교통 안전국, 1998)

1998년 미국 고속도로 교통 안전국(NHTSA)에서 발행한 보고서는 졸음 운전에 대한 포괄적인 내용을 담고있으며, 실험실 및 차량 내 졸음 측정 도구를 문서화했다. 당시에는 졸음을 감지하기 위해 생리학적 신호를 측정하는 것이 일반적이었다. 불행하게도 이것은 각각의 사람을 연구하고 데이터를 개별적으로 보정해야 했기 때문에 실험실 환경에서만 실용적이었다. 그러나 보고서는 눈 감기 모니터, 조향 센서 및 차선 추적 장치와 같은 차량 내 시스템이 연구되고 있다고 언급했다(NHTSA, 1998). 이러한 디바이스는 기술의 한계로 인해 당시에는 상업적으로 이용할 수 없었다.(Dinges, 1995)

아마도 최초로 알려진 전자 졸음 감지기는 조향각(steering angle) 센서일 것이다. 상업적으로 이용 가능한 최초의 시스템은 2000년대 초에 등장했다. 스티어링 휠 센서는 스티어링 휠이 회전하는 거리와 속도를 추적한다. 그 자체의 정보는 도움이 되지 않지만, 속도, 안정성 제어(요(yaw) 및 피치(pitch): 좌우로 흔들림), 카메라 정보와 함께 이러한 데이터를 사용하는 소프트웨어 알고리즘과 결합하면 신뢰할 수 있는 졸음 추정을 구성할 수 있다. 

회전이 많고 멈췄다가 움직이는 도시 주행에서는 알고리즘을 혼란스럽게 할 수 있기 때문에, 일반적으로 이러한 시스템은 고속도로 속도에서만 작동하고 마이크로 스티어링만 측정한다. 이러한 시스템은 각 주행의 초기 단계를 사용하여 운전자를 기준으로 보정한다. 보쉬(Bosch)는 많은 사람들에게 이 분야의 선구자로 간주된다. 보쉬의 솔루션에 대한 자세한 내용은 제품 웹사이트에서 확인할 수 있다. 이러한 솔루션은 상당히 잘 작동하지만 현대의 자동차는 점점 더 자율화되고 있으며 운전자는 완전히 운전을 하지 않을 수도 있다. 자동차가 통제되고 있다면 모니터링 자체가 무의미하다.

이 문제를 해결하기 위해 인간 운전자 또는 자율주행 자동차의 두 가지 상황 모두에서 작동하는 새로운 솔루션이 등장했다. 이 솔루션을 운전자 모니터링 시스템(DMS: driver monitoring system)이라고 한다. DMS는 90년대 후반에 개발됐지만 2020년대까지 생산 준비가 되지 않았다. DMS는 컴퓨터 비전, 카메라 및 프로세싱을 사용하여 운전자가 주의를 기울이고 연관되어 있는지 확인하기 위해 얼굴 및 눈 신호를 찾는다. 간단해 보이지만 알고리즘을 안정적으로 구현하기가 복잡하다. EE Times 기사는 DMS에 대한 신화를 받아들임으로써 당면한 문제를 자세히 설명한다.(Barnden, 2021)

유로(Euro) NCAP (New Car Assessment Programme)는 현재 이러한 DMS 시스템을 의무화하고 있으며, 2024년까지 모든 신차에 DMS 시스템이 있어야 최고의 충돌 및 안전 등급을 얻을 수 있다. 로우 엔드에서 하이 엔드에 이르기까지 다양한 독점 솔루션이 존재한다. 그러나 자동차 제조업체에게 이 시장은 비용에 매우 민감하고, 고객은 이 기능에 대해 추가 비용을 지불하고 싶어하지 않는다.

또 다른 트렌드는 운전자 모니터링에 모든 탑승자가 포함되도록 확장하는 것으로, 이러한 유형의 모니터링을 탑승자 모니터링 시스템(OMS: occupant monitoring systems)이라고 한다. 자동차 제조업체는 편안함과 편의 기능으로 이 솔루션을 수익화할 수 있기 때문에 이를 더 기대한다. 운전자는 제스처 및 얼굴 인식을 사용해 차량 설정을 사용자 지정화할 수 있다. 영상 통화나 소셜미디어 앱은 인터넷이 연결된 자동차에 OMS를 적용할 수 있다. 어린이가 차량에 방치되어 있는지 감지하거나 빈 좌석 혹은 안전 체중 미만의 사람이 탑승한 좌석의 에어백을 자동으로 끄는 등 안전 기능에 대해 OMS를 사용할 수 있다. 보안 애플리케이션은 내부 비디오 녹화에 OMS를 사용할 수 있다. 

기존 DMS와 OMS의 하드웨어와 광학 장치는 다르다. DMS는 일반적으로 글로벌 셔터와 함께 근적외선 이미징을 사용하고, OMS는 일반적으로 가시광선이 있는 롤링 셔터를 사용한다. 대부분의 자동차 제조업체는 DMS와 OMS를 DOMS(운전자 및 탑승자 모니터링 시스템: driver and occupant monitoring systems)에 결합하여 비용을 낮추고 더 작은 솔루션을 만들기를 원한다.

그림 1. OMS 솔루션 (사진 제공: 비즈니스 와이어(Business Wire)) 

온세미의 고성능 이미지 센서는 DMS와 OMS 애플리케이션 모두에 사용되는 하나의 롤링 셔터 이미지 센서를 하나로 통합하여, DOMS를 위해 이상적이고 매우 비용 효율적인 솔루션을 만드는 새로운 시스템 솔루션을 구현한다.

한 가지 문제는 DMS가 일반적으로 스티어링 칼럼이나 대시보드에 장착되는 반면, OMS는 백미러나 필러 위에 더 잘 장착된다는 것이다. 설계 복잡성이 증가함에도 불구하고 점점 더 많은 설계가 비용 절감을 위해 이 두 가지의 결합을 이끈다. 현재 많은 자동차 제조업체에서 전체 DOMS 솔루션이 포함된 오버헤드 콘솔을 설치하고 있고, 백미러에 설치하는 것도 일반적이다.

서라운드 뷰 및 미러 교체

서라운드 뷰 카메라는 후진 또는 주차 시 운전자의 시야를 높이기 위해 차량 외부에 설치되는 가시광선 카메라이다. 일반적으로 네 개의 카메라가 있으며, 전면에 하나, 후면에 하나, 측면에 두개가 있다. 이러한 카메라는 모두 광각 렌즈이고, 어안 유형의 이미지를 만든다. 이미지 프로세싱 및 고급 알고리즘은 4개의 이미지와 자동차 사진을 병합한다. 결과적으로 조감도는 대시보드 디스플레이의 화면에 표시되며 운전자가 주변 환경을 완전히 시각화할 수 있도록 차량 위의 카메라를 모방한다. 때로는 이러한 시스템을 옴니 뷰 또는 360° 뷰라고도 한다.

그림 2. 서라운드 뷰 시스템의 예 (사진 제공: 익스트림테크(ExtremeTehc))

서라운드 뷰 시스템을 갖춘 최초의 차량은 인피니티(Infinity)와 닛산(Nissan)이 공동 개발한 2007 인피니티(Infiniti) EX35이다. 원래 시스템은 이 조감도만을 제공했지만, 최신 시스템의 경우 특히 고급 차량에서 다중 뷰를 제공한다.

차량 주변의 초음파 센서와 결합하면 서라운드 뷰 시스템은 충돌을 효과적으로 방지하고, 좁은 주차 공간에 적합하다. 초음파 센서는 보행자나 움직이는 물체를 운전자에게 알려주는 데도 도움이 된다. 일부 고급 시스템은 견인 중에 차량의 후드 또는 트레일러의 뒤쪽을 투시할 수도 있다.(X선이라고도 함)

주차 외에도 측면 카메라는 운전 중에 사용하기 위해 기존의 사이드 미러를 대체할 수 있다. 카메라를 매우 작게 만들 수 있기 때문에 거울의 크기 또한 줄어, 차량의 공기역학적 성능이 향상되고 전기 자동차의 연비를 최대 4%까지 절약하거나 주행 거리를 늘릴 수 있다.

미러 교체는 기술적으로는 효과가 있지만, 실제 사이드 미러로 운전하는 데 익숙하기 때문에 많은 운전자가 이를 싫어한다. 또 다른 장애물로는 일부 국가에서 사이드 미러를 백업으로 요구하여 미러를 제거했을 때의 이점이 무효화된다(주차용은 해당되지 않음). 따라서 카메라 미러의 채택은 서라운드 뷰보다 느리다.(하워드(Howard), 2014)

소프트웨어 정의 차량

소프트웨어 정의 차량이라는 용어는 자동차 디자인의 대대적인 변화를 나타내게 됐다. 특히 지난 10년 동안 자율주행 자동차를 추구하면서 엄청난 양의 연구 및 개발이 쏟아졌다. 자율주행을 지원하는 모든 센서에 필요한 컴퓨팅의 양은 차량 시스템과 센서가 제어되고 사용되는 방식에 있어 상당한 변화가 필요해졌다.

2015년 이전에는 자체 로컬 프로세서 및 소프트웨어를 포함해 모듈 간에 중앙 CAN 또는 LIN 네트워크 아키텍처를 갖는 보다 전통적인 접근 방식이 널리 사용됐다. 그러나 차량과 차량 시스템이 더욱 복잡해지고 중앙 집중식 컴퓨팅이 필요해지면서, 도메인 컨트롤러가 더 보편화됐다. 예를 들어 다양한 센서 입력을 모두 결합하고 데이터를 처리하고 여러 안전 시스템에 명령을 보내 ADAS 기능을 구현하려면 ADAS 컨트롤러가 필요하다. 데이터 속도도 증가하고 있어 더 빠른 데이터 전송 프로토콜이 필요하다. 결국 자율주행 및 첨단 시스템에 필요한 엄청난 양의 프로세싱으로 인해 중앙 집중식 컴퓨팅이 있을 것이다.(모리스(Morris), 2021)

그림 3. 차량 아키텍처가 진화하는 방식—좌측은 원래 시스템, 중간은 도메인 컨트롤러가 있는 현대 스타일, 우측은 중앙 집중식 컴퓨팅 (사진 제공: EE 타임스(EE Times) 및 지멘스 디지털(Siemens Digital))

휴대폰이 진화한 것처럼, 소비자는 소프트웨어 업데이트를 통해 더 많은 디지털 기능과 장기적인 가치를 요구한다. 자동차 제조사들도 이 모델에 많은 관심을 갖고 있는데, 이들은 새로운 기능과 버그 패치를 구현하기 위해 OTA(over-the-air) 소프트웨어 업데이트로 환경과 상황에 맞춰 빠르고 유연하게 개발해야 하기 때문이다. 새로운 기능 개발과 함께 이들은 서비스 및 구독을 통해 새로운 수익원을 창출할 수도 있다.

전체 자동차 산업은 티어와 OEM 사이에서 새로운 비즈니스 모델을 탐색하면서 이러한 진화를 겪고 있다. 일부 자동차 기업은 자동차 업체 대신 소프트웨어 기업으로 기록을 남기고 있다. 물론 테슬라는 2003년에 설립된 기술 회사로 시작하여 2008년에 최초의 로드스터(Roadster) 생산을 시작했다(리드(Reed), 2020).

가상 및 증강현실

가상 및 증강현실과 일반적으로 메타버스로 알려진 웹 3.0에 대해 많은 관심이 있다. 메타버스는 모든 것에 디지털 트윈이 있는 3D 버전의 웹이며 완전히 새로운 경험, 몰입 및 협업이 가능하다.

헤드업 디스플레이(HUD: head-up displays)가 장착된 차량이 이미 도로에 있다. HUD는 결국 운전자를 위한 증강현실로 점점 더 많은 디지털 콘텐츠를 도입할 것이다. 예를 들면, 3D 내비게이션 프로젝션 및 3D 화상 통화가 이에 해당하며, 일기 예보도 마찬가지일 것이다.

극단적인 경우에는 전면유리가 없을 것이고, 차량의 전면은 견고한 장치가 될 것이다. 전면유리 대신 거대한 스크린이 공간을 완전히 가상의 시야로 대체할 것이다. 레벨 5 자율주행에 도달하면, 더 이상 전통적인 전면유리가 전혀 필요하지 않다.

닛산은 여기에 매혹적인 비전을 제공한다.

그림 4. I2V(Invisible-to-Visible) (사진 제공: 닛산)

결론

이 기고의 시리즈는 ADAS의 기계에서 전기로의 진화, 소프트웨어 정의 차량과 완전 자율주행 및 메타버스 몰입의 비전을 통해 스피도스탯(Speedostat)이라 불리는 최초의 기계식 크루즈 컨트롤로 거슬러 올라갑니다.

자동차 산업에서 현재의 변화는 전율을 일으키고 있고, 기술은 빠르게 변화하고 있다. 새로운 패러다임과 변화는 긍정적이지만, 오늘날 우리가 당연하게 여기는 시스템의 과거와 매혹적인 역사를 검토하는 것도 도움이 된다.

자동차 및 ADAS 시장의 선두주자인 온세미에서 이러한 내용의 기사도 확인할 수 있다. ADAS 제품에 대한 자세한 내용은 https://www.onsemi.com/solutions/automotive/adas 솔루션 페이지에서 참조하면 된다. 

참고 문헌

· Barnden, C. (2021, May 13). Busting Myths of Driver Monitoring Systems. Retrieved from EE Times: https://www.eetimes.com/busting-myths-of-driver-monitoring-systems/

· Dinges, D. (1995). An Overview of Sleepiness and Accidents. J. Sleep Res. 4, Suppl. 2, 4-14. Retrieved from https://onlinelibrary.wiley.com/doi/epdf/10.1111/j.1365-2869.1995.tb00220.x

· Howard, B. (2014, July 18). What are car surround view cameras, and why are they better than they need to be?, Part Two. Retrieved from Extreme Tech: https://www.extremetech.com/extreme/186160-what-are-surround-view-cameras-and-why-are-they-better-than-they-need-to-be/2

· Morris, B. (2021, March 29). EE Times. Retrieved from E/E Architecture Considerations for AV Development: https://www.eetimes.com/e-e-architecture-considerations-for-av-development/

· NHTSA. (1998). Drowsy Driving and Automobile Crashes. n/a: n/a. Retrieved 11 30, 2021, from https://rosap.ntl.bts.gov/view/dot/1661

· Reed, E. (2020, October 5). History of Tesla: Timeline and Facts. Retrieved from TheStreet: https://www.thestreet.com/technology/history-of-tesla-15088992

· Unknown. (2021, December 1). Invisible-to-Visible (I2V). Retrieved from Nissan Motor Corporation: https://www.nissan-global.com/EN/TECHNOLOGY/OVERVIEW/i2v.html

· Unknown. (2021, December 1). Software-Defined Vehicles - A forthcoming Industrial Evolution. Retrieved from Deloitte: https://www2.deloitte.com/cn/en/pages/consumer-business/articles/software-defined-cars-industrial-revolution-on-the-arrow.html

1부 기사 보기

https://all4chip.com/archive/report_view.php?no=14196&page=2

2부 기사 보기

https://all4chip.com/archive/report_view.php?no=14197&page=2