반도체 전문 온라인 매거진 - 올포칩

엔비디아(www.nvidia.co.kr  CEO 젠슨 황)가 주요 파트너들과 함께 빠르게 증가하는 생성형 AI 트레이닝(generative AI training) 및 추론 수요에 대응하기 위해 세계에서 가장 강력한 AI용 GPU인 엔비디아 H100 텐서 코어(Tensor Core) GPU를 탑재한 새로운 제품 및 서비스를 출시한다고 발표했다. 

트랜스포머 엔진(Transformer Engine)이 내장된 엔비디아 호퍼(Hopper) GPU 컴퓨팅 아키텍처를 기반으로 하는 H100은 생성형 AI, 대규모 언어 모델(LLM) 및 추천 시스템을 개발, 훈련 및 배포하는 데 최적화돼 있다. 이 기술은 H100의 FP8 정밀도를 활용하며 이전 세대 A100에 비해 LLM에서 9배 빠른 AI 훈련과 최대 30배 빠른 AI 추론을 제공한다. H100은 가을부터 글로벌 제조업체의 개별 및 일부 보드 단위로 출하되기 시작했다. 

엔비디아 DGX H100은 엔비디아 NV링크(NVLink) 고속 인터커넥트로 연결된 8개의 H100 GPU와 통합된 엔비디아 퀀텀 인피니밴드(Quantum InfiniBand) 및 스펙트럼(Spectrum) 이더넷 네트워킹을 특징으로 한다. 이 플랫폼은 이전 세대보다 2배 빠른 네트워킹으로 FP8 정밀도에서 32페타플롭의 컴퓨팅 성능을 제공해 대규모 AI 워크로드를 처리할 때 에너지 효율성을 극대화한다. 

또한 DGX H100은 완전한 엔비디아 AI 소프트웨어 스택을 갖추고 있어 기업이 대규모의 AI 워크로드를 원활하게 실행하고 관리할 수 있도록 지원한다. 이 제품에는 별도로 발표된 최신 버전의 엔비디아 AI 엔터프라이즈(Enterprise)와 엔비디아 DGX 플랫폼 전체에서 AI 트레이닝 및 운영을 조정해 AI 개발을 간소화하고 효율화하는 DGX 데이터 센터의 운영 체제인 엔비디아 베이스 커맨드(Base Command)가 포함된다.