반도체 전문 온라인 매거진 - 올포칩

AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(NVIDIA)가 아시아 최대 ICT 전시회 컴퓨텍스(COMPUTEX) 2026을 맞이해 개최한 엔비디아 GTC 타이베이(NVIDIA GTC Taipei)에서 안전한 레벨 4 로보택시 개발을 지원하는 추론 기반 VLA(vision language action) 모델 ‘엔비디아 알파마요 2 슈퍼(Alpamayo 2 Super)’를 공개했다. 320억 개의 파라미터를 갖춘 이 모델은 단순한 경로 생성을 넘어 전체 주행 스택 전반에서 추론, 계획, 실행을 통합 지원한다. 엔비디아는 이와 함께 데이터 수집부터 폐쇄형 루프 훈련, 차량 내 배포에 이르는 전체 파이프라인을 완성하는 새로운 도구, 모델, 에이전트 기술을 전격 발표했다.

인간 중심의 자율주행 추론 요구와 글로벌 리더들의 협력 견해

자율주행차가 현실 세계에서 안전하게 작동하기 위해서는 단순히 전방의 장애물을 감지하는 수준을 넘어, 돌발 상황의 인과 관계를 인간처럼 인식하고 추론하여 다음에 일어날 상황을 예측해야 한다. 특히 규제 당국의 안전성 검증을 통과하고 대규모 로보택시 서비스를 확장하기 위해서는 인공지능이 내린 주행 의사결정 과정을 명확하게 설명할 수 있는 기술적 기반이 필수적이다. 업계 전문가들은 인프라를 처음부터 새로 구축하는 비용을 줄이고 롱테일(희귀 상황) 주행 시나리오를 극복하는 것이 레벨 4 상용화의 핵심 전환점이 될 것으로 보고 있다.

엔비디아 창립자 겸 CEO 젠슨 황(Jensen Huang)은 “알파마요는 자동차가 단순한 주행을 넘어 안전한 추론을 시작하는 전환점”이라며, “전 세계 로보택시 생태계가 극한 상황을 이해하고, 의사결정을 설명하며, 수백만 대의 차량으로 안전하게 확장할 수 있도록 오픈 모델, 시뮬레이션, 실제 데이터, 에이전트 기술을 제공하는 곳은 오직 엔비디아뿐”이라고 강조했다.

320억 파라미터 기반 알파마요 2 슈퍼의 아키텍처 및 기술적 특징

알파마요 2 슈퍼는 엔비디아 코스모스(Cosmos) 월드 파운데이션 모델을 기반으로 구축되어 기존 100억 개에서 320억 개로 파라미터 규모를 3배 이상 확장했다. 기술적으로는 전방 중심 카메라를 넘어 전방, 측면, 후방을 아우르는 360도 상황 인식(전방위 인식) 기능을 확보하여 안전한 차선 변경과 교차로 통과 맥락을 제공한다. 또한 양보, 정지 등 거시적 계획을 예측하는 ‘메타 액션(Meta-Actions)’ 출력을 지원하여 인과 관계(CoC, chain-of-causation) 추적 정보와 후속 주행 계획을 유기적으로 연결한다.

특히 2D 그라운딩 기반 추론 자동 레이블링을 도입해 데이터 레이블링 주기를 수개월에서 수일로 단축함으로써 데이터 파이프라인의 비용 효율성을 극대화했다. 교사 모델(Teacher model)로 설계된 알파마요 2 슈퍼는 차량 내부의 엔비디아 드라이브 하이페리온(DRIVE Hyperion) 가속 컴퓨팅 환경에서 실행되는 엔비디아 드라이브 AGX 토르(DRIVE AGX Thor)와 같은 소형 온보드 모델로 지식을 정제(Knowledge distillation)하여 압축 배포할 수 있는 아키텍처적 유연성을 자랑한다. 알파마요는 탁월한 기술력을 인정받아 컴퓨텍스 베스트 초이스 어워드의 차량 기술 및 스마트 콕핏 부문을 수상했다.

알파짐 프레임워크 및 에이전트 툴킷 기반 미래 주행 비전

엔비디아는 오픈소스 기반의 고처리량 폐쇄 루프(Closed-loop) 강화학습 프레임워크인 ‘엔비디아 알파짐(AlpaGym)’을 통해 주행 성능의 한계를 또 한 번 돌파했다. 기존 오픈 루프 훈련이 정적 기록 데이터를 기반으로 단일 행동만 평가했다면, 알파짐은 알파심(AlpaSim) 시뮬레이션 환경 내에서 모델의 지속적인 의사결정과 관찰 사이클을 지원하여 조향, 제동 등의 선택이 환경에 실시간으로 영향을 주도록 설계됐다. 이를 통해 정적 데이터셋으로 발견하기 어려운 누적 오류와 극한 상황의 실패 사례를 식별하고 학습한다.

나아가 엔비디아 에이전트 툴킷(Agent Toolkit)을 통해 피지컬 AI 에이전트 기술을 확장한다. 여기에는 실제 차량 주행 시나리오를 시뮬레이션으로 복원해 대규모 합성 데이터를 생성하는 엔비디아 옴니버스 뉴렉(Omniverse NuRec) 기반 뉴럴 리컨스트럭션 기술과, 사실적인 시나리오를 대규모 시뮬레이션하는 생성형 월드 모델 엔비디아 옴니드림스(OmniDreams)가 포함된다. 원본 영상에서 별도 주석 없이 인과 관계 레이블을 자동 생성하는 CoC 오토 레이블링 파이프라인은 깃허브에 오픈소스로 공개된다. 알파마요 2 슈퍼의 추론 코드와 모델 가중치는 올여름 각각 깃허브와 허깅페이스를 통해 전 세계 개발자 생태계에 본격 공급될 예정이다.