엔비디아, 마이크로소프트와 협력 확대로 개발자 위한 AI 앱 구축과 배포 지원

2024년 05월 24일

엔비디아(www.nvidia.co.kr )가 미국 시애틀에서 개최된 마이크로소프트(Microsoft) 연례 개발자 콘퍼런스 ‘마이크로소프트 빌드(Microsoft Build) 2024’에서 엔비디아(NVIDIA) GTC에서 공유한 양사의 협력 상황을 바탕으로 지속적인 협업을 강화한다고 밝혔다.

최적화된 AI 워크플로우가 하드웨어 인프라에서 소프트웨어 라이브러리에 이르기까지 각 구성 요소가 정확한 음을 내는 완벽하게 조율된 오케스트라에 비유될 수 있다면, 엔비디아와 마이크로소프트의 오랜 조화는 개발자의 귀에 음악과도 같은 존재다.

마이크로소프트에서 개발한 최신 AI 모델은 파이-3(Phi-3) 소형 언어 모델(small language model, SLM) 제품군을 포함한다. 또한 엔비디아 GPU에서 실행 가능하도록 최적화돼 엔비디아 NIM 추론 마이크로서비스로 사용할 수 있다. cuOpt 경로 최적화 AI와 같이 엔비디아에서 개발한 다른 마이크로서비스는 마이크로소프트 애저 마켓플레이스(Azure Marketplace)에 정기적으로 추가되고 있다. 이는 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어 플랫폼의 일부이다.

마이크로소프트의 파이-3 모델 가속화

마이크로소프트는 38억 개의 파라미터가 있는 파이-3-미니(Phi-3-mini)와 유사한 소형(70억 개 파라미터)과 중형(140억 개 파라미터) 모델을 추가해 파이-3 개방형 소형 언어 모델 제품군을 확장하고 있다. 또한 이미지와 텍스트를 지원하는 42억 개 파라미터의 새로운 멀티모달 모델인 파이-3-비전(Phi-3-vision)을 도입한다.

이 모든 모델은 엔비디아 텐서RT-LLM(TensorRT-LLM)을 통해 GPU에 최적화돼 있다. 또한 엔비디아 NIM으로 사용할 수 있는데, 이는 어디에나 배포할 수 있는 표준 API를 갖춘 가속화된 추론 마이크로서비스이다.

애저 마켓플레이스에서 엔비디아 cuOpt 제공

경로 최적화를 위한 GPU 가속 AI 마이크로서비스인 엔비디아 cuOpt가 이제 엔비디아 AI 엔터프라이즈를 통해 애저 마켓플레이스에서 제공된다. cuOpt는 배송 서비스, 철도 시스템, 창고와 공장 등에서 실시간 물류 관리를 가능하게 만드는 대규모 병렬 알고리즘을 지원한다.

이 모델은 주요 라우팅 벤치마크(routing benchmarks)에서 24개에 달하는 세계 기록을 세우며 최고의 정확도와 신속성을 입증했다. 차량 경로를 최적화하고 이동 시간을 절약하며 유휴 기간을 최소화해 물류와 공급망 산업에서 수십억 달러를 절약할 수 있다.

개발자는 애저 마켓플레이스를 통해 cuOpt 마이크로서비스를 애저 맵스(Maps)에 쉽게 통합할 수 있다. 이로써 엔터프라이즈급 관리 도구와 보안이 뒷받침된 실시간 물류 관리와 기타 클라우드 기반 워크플로우를 지원할 수 있다.