반도체 전문 온라인 매거진 - 올포칩

엔비디아(www.nvidia.co.kr CEO 젠슨 황)가 글로벌 최대 컴퓨터 그래픽 콘퍼런스인 시그라프(SIGGRAPH)에서 새로운 엔비디아 옴니버스(NVIDIA Omniverse) 라이브러리와 엔비디아 코스모스(Cosmos) 월드 파운데이션 모델(world foundation model, WFM)을 발표했다. 이번 발표로 로보틱스 솔루션의 개발과 배포가 가속화될 것으로 기대된다. 

새로운 엔비디아 RTX PRO 서버(RTX PRO Server)와 엔비디아 DGX 클라우드(DGX Cloud)를 기반으로 구동되는 이 라이브러리와 모델은 개발자가 어디서든 물리적으로 정확한 디지털 트윈을 구축하도록 돕는다. 또한 현실 세계를 시뮬레이션 환경에서 캡처하고 재구성하며, 피지컬 AI 모델 훈련을 위한 합성 데이터를 생성하고, 물리적 세계를 이해하는 AI 에이전트를 개발하도록 지원한다. 

엔비디아 옴니버스, 시뮬레이션 기술 부문 부사장인 레브 레바레디언(Rev Lebaredian)은 “컴퓨터 그래픽과 AI가 융합되며 로보틱스를 근본적으로 변화시키고 있다. AI 추론을 확장 가능하고 물리적으로 정확한 시뮬레이션과 결합함으로써, 우리는 개발자들이 수조 달러 규모 산업의 미래를 바꿀 로봇과 자율주행차(autonomous vehicle, AV)를 구축할 수 있도록 지원하고 있다”고 말했다. 

옴니버스 누렉 렌더링은 15만 명 이상의 개발자가 사용하는 대표적인 오픈소스 시뮬레이터인 칼라(CARLA)에 통합된다. 또한, AV 툴체인 선도 기업인 포어텔릭스(Foretellix)는 누렉과 엔비디아 옴니버스 센서(Sensor) RTX, 코스모스 트랜스퍼(Cosmos Transfer)를 통합해 물리적으로 정확한 시나리오를 기반으로 한 확장 가능한 합성 데이터 생성을 강화하고 있다. 아울러 복셀51(Voxel51)의 시각적, 멀티모달 AI용 데이터 엔진인 피프티원(FiftyOne)도 누렉을 지원해 재구성에 필요한 데이터 준비 과정을 간소화한다. 피프티원은 포드(Ford), 포르쉐(Porsche)를 비롯한 여러 고객사에서 사용되고 있다. 

2백만 회 이상 다운로드된 코스모스 WFM은 개발자가 텍스트, 사진, 영상 프롬프트를 활용해 로봇 훈련에 필요한 다양한 데이터를 대규모로 생성할 수 있도록 지원한다. 올해 시그라프에서 발표된 새로운 모델은 합성 데이터 생성 속도, 정확도, 언어 지원, 제어 측면에서 큰 도약을 이뤘다. 

오픈AI(OpenAI)의 클립(CLIP) 모델이 등장한 이래로, 비전 언어 모델(vision language model, VLM)은 객체와 패턴 인식 같은 컴퓨터 비전 작업에 혁신을 가져왔다. 그러나 다단계 작업을 처리하거나, 모호하거나 새로운 상황에 적절히 대응하는 데에는 한계가 있었다. 

엔비디아 코스모스 리즌(Cosmos Reason)은 피지컬 AI와 로보틱스를 위한 새로운 개방형, 70억 파라미터 추론 VLM으로, 맞춤화가 가능하다. 이 모델은 로봇과 비전 AI 에이전트가 사전 지식, 물리 법칙, 상식을 바탕으로 사람처럼 추론하고 현실 세계를 이해하며 행동할 수 있도록 해준다. 

엔비디아의 로보틱스 팀과 엔비디아 드라이브(DRIVE) 팀은 데이터 큐레이션과 필터링, 주석 처리, VLA 사후 훈련에 코스모스 리즌을 활용하고 있다. 우버(Uber)는 코스모스 리즌으로 AV 훈련 데이터에 주석을 달고 캡션을 추가하고 있다. 

마그나(Magna)는 시티 딜리버리 플랫폼의 일환으로 코스모스 리즌과 협력해 개발 중이다. 이 플랫폼은 완전 자율주행 기반의 저비용 즉각 배송 솔루션을 제공하며, 차량이 새로운 도시 환경에 더 빠르게 적응할 수 있도록 지원한다. 코스모스 리즌은 차량의 장기적 경로 계획에 월드 이해 기능을 추가한다. 바스트 데이터(VAST Data), 마일스톤 시스템즈(Milestone Systems), 링커 비전(Linker Vision)은 코스모스 리즌을 도입해 도시와 산업 환경에서 교통 모니터링을 자동화하고, 안전을 개선하며 시각적 검사 효율을 높이고 있다.