엔비디아, MLPerf 테스트에서 새로운 차원의 추론 실현
2023년 04월 08일
트위터로 보내기페이스북으로 보내기구글플러스로 보내기
dd270d2617abe1ea876ef5cbe5839f7e_1680885189_2936.jpg
 

엔비디아(www.nvidia.co.kr CEO 젠슨 황)가 최신 MLPerf 결과에서 클라우드에서 엣지까지 AI 추론의 성능과 효율성을 새로운 차원으로 끌어올렸다고 밝혔다. MLPerf는 독립적인 타사 벤치마크로서 AI 성능에 대한 최종적인 측정치로 남아 있다. 엔비디아의 AI 플랫폼은 MLPerf 추론 3.0 벤치마크를 포함해 MLPerf가 시작된 이래 훈련과 추론 모두에서 지속적으로 리더십을 보여 왔다. 


최신 MLPerf 결과에 따르면 엔비디아는 클라우드에서 엣지까지 AI 추론의 성능과 효율성을 새로운 차원으로 끌어올렸다. 특히, DGX H100 시스템에서 실행되는 엔비디아 H100 텐서 코어(Tensor Core) GPU는 생산에서 신경망을 실행하는 작업인 AI 추론의 모든 테스트에서 최고 성능을 제공했다. 소프트웨어 최적화 덕분에 GPU는 9월에 출시된 제품 대비 최대 54%의 성능 향상을 달성했다. 의료 분야에서 H100 GPU는 의료 영상용 MLPerf 벤치마크인 3D-UNet에서 9월 이후 31%의 성능 향상을 달성했다. 


dd270d2617abe1ea876ef5cbe5839f7e_1680885170_5589.jpg

트랜스포머 엔진으로 구동되는 호퍼 아키텍처 기반 H100 GPU는 트랜스포머 기반 대규모 언어 모델인 BERT에서 탁월한 성능을 발휘해 생성형 AI의 광범위한 사용의 토대를 마련했다. 생성형 AI를 통해 사용자는 텍스트, 이미지, 3D 모델 등을 빠르게 만들 수 있다. 이는 스타트업부터 클라우드 서비스 제공업체에 이르기까지 다양한 기업이 새로운 비즈니스 모델을 구현하고 기존 비즈니스 모델을 가속화하기 위해 빠르게 도입하고 있는 기능이다. 


현재 수억 명의 사람들이 즉각적인 응답을 기대하며 트랜스포머 모델인 챗GPT와 같은 생성형 AI 도구를 사용하고 있다. 이러한 AI의 시대에는 추론 성능이 매우 중요하다. 딥러닝은 이제 거의 모든 곳에 배포되고 있으며 공장 현장부터 온라인 추천 시스템에 이르기까지 추론 성능에 대한 요구가 끊임없이 증가하고 있다. 


L4 GPU의 빠른 속도

엔비디아 L4 텐서 코어 GPU는 이전 세대 T4 GPU보다 3배 이상 빠른 속도로 MLPerf 테스트에 데뷔했다. 프로파일이 낮은 폼 팩터(low-profile form factor)로 패키징된 가속기는 거의 모든 서버에서 높은 처리량과 짧은 지연 시간을 제공하도록 설계됐다. L4 GPU는 모든 MLPerf 워크로드를 실행했다. 주요 FP8 형식을 지원하므로 성능에 민감한 BERT 모델에서 특히 뛰어난 결과를 보였다. 


L4 GPU는 탁월한 AI 성능 외에도 최대 10배 빠른 이미지 디코드, 최대 3.2배 빠른 영상 처리, 4배 이상 빠른 그래픽 및 실시간 렌더링 성능을 제공한다. L4 GPU는 GTC 2023에서 발표된 엔비디아의 AI 추론 플랫폼 포트폴리오에 가장 최근에 추가된 제품이다. 


dd270d2617abe1ea876ef5cbe5839f7e_1680885145_1599.jpg

또한 엔비디아의 풀스택 AI 플랫폼도 새로운 MLPerf 테스트에서 리더십을 입증했다. 이른바 네트워크 분할 벤치마크는 데이터를 원격 추론 서버로 스트리밍한다. 이 테스트는 기업 방화벽 뒤에 데이터를 저장한 채 클라우드에서 AI 작업을 실행하는 기업 사용자의 일반적인 시나리오를 반영한다. 


BERT에서 원격 엔비디아 DGX A100 시스템은 최대 로컬 성능의 96%까지 제공했으며, 일부 작업의 경우 CPU가 완료될 때까지 기다려야 하기 때문에 부분적으로 속도가 느려졌다. GPU로만 처리되는 컴퓨터 비전을 위한 ResNet-50 테스트에서는 100%를 기록했다. 두 결과 모두 엔비디아 퀀텀 인피니밴드(Quantum Infiniband) 네트워킹, 엔비디아 커넥트X(ConnectX) 스마트NIC(SmartNIC) 및 엔비디아 GPU다이렉트(GPUDirect)와 같은 소프트웨어 덕분이다.

그래픽 / 영상
많이 본 뉴스