반도체 전문 온라인 매거진 - 올포칩

엔비디아가 메타(Meta)의 오픈소스 AI 모델 컬렉션인 라마 3.1(Llama 3.1)을 통해 전 세계 기업의 생성형 AI를 강화하는 엔비디아 AI 파운드리(NVIDIA AI Foundry) 서비스와 엔비디아 NIM 추론 마이크로서비스를 발표했다. 

이제 기업과 국가는 엔비디아 AI 파운드리를 통해 라마 3.1과 엔비디아 소프트웨어, 컴퓨팅, 전문성을 활용해 도메인별 산업 사용 사례에 맞는 맞춤형 ‘슈퍼모델’을 만들 수 있다. 기업은 자체 데이터는 물론, 라마 3.1 405B와 엔비디아 네모트론(Nemotron) 리워드 모델에서 생성된 합성 데이터로 이러한 슈퍼모델을 훈련할 수 있다. 

엔비디아 AI 파운드리는 세계 최고의 퍼블릭 클라우드와 공동 설계된 엔비디아 DGX 클라우드(DGX Cloud) AI 플랫폼으로 구동된다. 이를 통해 AI 수요 변화에 따라 쉽게 확장할 수 있는 방대한 컴퓨팅 리소스를 기업에게 제공한다. 

새로운 서비스는 기업뿐만 아니라 독자적인 AI 전략을 개발 중인 국가들의 맞춤형 거대 언어 모델(large language model, LLM) 구축을 지원한다. 이들은 고유한 비즈니스나 문화를 반영하는 생성형 AI 애플리케이션을 위해 도메인별 지식을 갖춘 맞춤형 LLM을 구축하고자 한다. 

엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 “메타의 오픈소스 모델인 라마 3.1은 전 세계 기업에서 생성형 AI 채택하는 데 있어 중요한 순간이다. 라마 3.1은 모든 기업과 업계가 최첨단 생성형 AI 애플리케이션을 구축할 수 있는 문을 열었다. 엔비디아 AI 파운드리는 라마 3.1을 전체적으로 통합했으며, 기업이 맞춤형 라마 슈퍼모델을 구축하고 배포할 수 있도록 지원할 준비가 돼있다.”고 말했다. 

메타의 창립자 겸 CEO인 마크 저커버그(Mark Zuckerberg)는 “새로운 라마 3.1 모델은 오픈 소스 AI에 있어 매우 중요한 단계이다. 기업들은 엔비디아 AI 파운드리를 통해 사람들이 원하는 최첨단 AI 서비스를 쉽게 만들고 맞춤화하며, 엔비디아 NIM을 통해 배포할 수 있다. 이러한 서비스를 사람들에게 제공할 수 있게 돼 기쁘다”고 말했다. 

현재 프로덕션 AI용 라마 3.1 모델의 엔터프라이즈 배포를 강화하기 위해, ai.nvidia.com에서 라마 3.1 모델용 엔비디아 NIM 추론 마이크로서비스를 다운로드할 수 있다. NIM 마이크로서비스는 프로덕션 환경에서 라마 3.1 모델을 배포하는 가장 빠른 방법이며, NIM 없이 추론을 실행하는 것보다 최대 2.5배 더 높은 처리량을 제공한다. 

기업은 라마 3.1 NIM 마이크로서비스를 새로운 엔비디아 네모 리트리버(NeMo Retriever) NIM 마이크로서비스와 결합해 AI 코파일럿, 어시스턴트, 디지털 휴먼 아바타를 위한 최첨단 검색 파이프라인을 구축할 수 있다.