반도체 전문 온라인 매거진 - 올포칩

엔비디아(www.nvidia.co.kr )가 엔비디아 AI 파운드리(NVIDIA AI Foundry)로 AI의 역량을 활용하고자 하는 기업들이 특정 산업 요구에 맞는 맞춤형 모델을 구축할 수 있도록 지원한다고 밝혔다. 

엔비디아 AI 파운드리는 기업이 데이터, 가속 컴퓨팅, 소프트웨어 도구 등을 사용해 맞춤형 모델을 생성하고 배포할 수 있도록 지원하는 서비스다. 이를 통해 기업은 생성형 AI 이니셔티브를 강화할 수 있다. 

엔비디아 AI 파운드리는 다른 기업이 AI 모델을 개발하고 맞춤화할 수 있도록 인프라와 도구를 제공한다. 기업들은 엔비디아 AI 파운드리 서비스를 통해 DGX 클라우드(DGX Cloud), 파운데이션 모델, 엔비디아 네모(NeMo) 소프트웨어, 엔비디아 전문 지식, 에코시스템 도구와 지원을 사용할 수 있다. 이는 마치 TSMC가 다른 기업이 설계한 칩을 제조하는 것과 같다. 

가장 큰 차이점은 제품이다. TSMC는 실제 반도체 칩을 생산하는 반면, 엔비디아 AI 파운드리는 맞춤형 모델을 제작하는 데 도움을 준다. 두 기업 모두 혁신을 지원하고 방대한 도구와 파트너 에코시스템을 연결하고 있다. 

기업은 AI 파운드리를 사용해 메타(Meta)의 새로운 라마 3.1(Llama 3.1) 컬렉션을 비롯해 다양한 엔비디아와 오픈소스 모델을 맞춤화할 수 있다. 여기에는 엔비디아 네모트론(Nemotron), 구글 딥마인드(Google DeepMind)의 코드젬마(CodeGemma)와 젬마(Gemma), 메타의 코드 라마(CodeLlama), 미스트랄(Mistral), 믹스트랄(Mixtral), 마이크로소프트 파이-3(Microsoft Phi-3), 스타코더2(StarCoder2) 등이 있다. 

엔비디아 AI 파운드리의 핵심 요소

엔비디아 AI 파운드리는 파운데이션 모델, 엔터프라이즈 소프트웨어, 가속 컴퓨팅, 전문가 지원, 광범위한 파트너 에코시스템의 핵심 요소들에 의해 지원된다. 이 소프트웨어는 엔비디아를 비롯한 AI 커뮤니티의 AI 파운데이션 모델과 모델 개발을 빠르게 추적할 수 있는 완전한 엔비디아 네모 소프트웨어 플랫폼이 포함한다. 

엔비디아 AI 파운드리의 컴퓨팅 핵심은 엔비디아 DGX 클라우드로, 세계 최고의 퍼블릭 클라우드인 아마존 웹 서비스(Amazon Web Services, AWS), 구글 클라우드(Google Cloud), 오라클 클라우드 인프라스트럭처(Oracle Cloud Infrastructure)와 공동 설계된 가속 컴퓨팅 리소스 네트워크다. AI 파운드리 고객은 DGX 클라우드를 통해 전례 없이 쉽고 효율적으로 맞춤형 생성형 AI 애플리케이션을 개발하고 미세 조정할 수 있다. 또한, 하드웨어에 대한 막대한 초기 투자 없이 필요에 따라 AI 이니셔티브를 확장할 수 있다. 이러한 유연성은 급변하는 시장에서 민첩성을 유지하고자 하는 기업에게 매우 중요하다. 

엔비디아 AI 파운드리 고객에게 도움이 필요한 경우, 엔비디아 AI 엔터프라이즈(AI Enterprise) 전문가가 도움을 줄 수 있다. 엔비디아 전문가는 독점 데이터를 사용해 모델을 구축, 미세 조정, 배포하는 데 필요한 각 단계를 고객에게 안내해, 모델이 비즈니스 요구사항과 완벽히 부합하도록 보장할 수 있다. 

엔비디아 텐서RT-LLM(TensorRT-LLM)과 같은 추론 솔루션은 지연 시간을 최소화하고 처리량을 극대화하기 위해 라마 3.1 모델의 효율성을 개선한다. 이를 통해 기업은 토큰을 더 빠르게 생성하는 동시에 프로덕션에서 모델을 실행하는 데 드는 총 비용을 절감할 수 있다. 엔터프라이즈급 지원과 보안은 엔비디아 AI 엔터프라이즈 소프트웨어 제품군에서 제공한다.

엔비디아 NIM과 텐서RT-LLM은 추론 지연 시간을 최소화하고 처리량을 극대화해 라마 3.1 모델의 토큰을 더 빠르게 생성한다. 

기업은 엔비디아 AI 파운드리의 네모 플랫폼을 사용해 요구가 정확하게 반영된 맞춤형 AI 모델을 만들 수 있다. 이러한 맞춤화를 통해 전략적 목표에 더 잘 부합하고, 의사 결정의 정확성을 높이고, 운영 효율성을 개선할 수 있다. 예를 들어, 기업은 산업별 전문 용어를 이해하고 규제 요건을 준수하며 기존 워크플로우와 원활하게 통합되는 모델을 개발할 수 있다. 

엔비디아 AI 파운드리의 주요 장점 중 하나는 기업이 AI를 도입할 때 직면하는 고유한 문제를 해결할 수 있다는 점이다. 일반적인 AI 모델은 특정 비즈니스 요구 사항과 데이터 보안 요구 사항을 충족하지 못할 수 있다. 반면에 맞춤형 AI 모델은 뛰어난 유연성, 적응성, 성능을 제공하므로 경쟁 우위를 확보하고자 하는 기업에 이상적이다.