반도체 전문 온라인 매거진 - 올포칩

엔비디아(www.nvidia.co.kr CEO 젠슨 황)가 엔비디아(NVIDIA) HGX H200을 출시한다고 밝혔다. 이 플랫폼은 엔비디아 호퍼(Hopper) 아키텍처를 기반으로 고급 메모리가 내장된 엔비디아 H200 텐서 코어 GPU(H200 Tensor Core GPU)를 탑재하고 있다. 따라서 생성형 AI와 고성능 컴퓨팅 워크로드를 위한 방대한 양의 데이터를 처리할 수 있다. 이번 HGX H200 출시로 세계 최고 AI 컴퓨팅 플랫폼을 가속화할 수 있을 것으로 기대된다. 

엔비디아 H200은 HBM3e를 제공하는 최초의 GPU이다. HBM3e은 더 빠르고 대용량 메모리로 생성형 AI와 대규모 언어 모델의 가속화를 촉진하는 동시에 HPC 워크로드를 위한 과학 컴퓨팅을 발전시킨다. 엔비디아 H200은 HBM3e를 통해 초당 4.8테라바이트(Terabytes)의 속도로 141GB의 메모리를 제공하며, 이전 모델인 엔비디아 A100에 비해 거의 두 배 용량과 2.4배 더 많은 대역폭을 제공한다. 

엔비디아 하이퍼스케일과 HPC 담당 부사장인 이안 벅(Ian Buck)은 "생성형 AI와 HPC 애플리케이션으로 인텔리전스를 생성하기 위해서는 대규모의 빠른 GPU 메모리를 통해 방대한 양의 데이터를 빠르고 효율적으로 처리해야 한다. 업계 최고의 엔드투엔드 AI 슈퍼컴퓨팅 플랫폼인 엔비디아 H200을 통해 세계에서 가장 중요한 과제를 해결할 수 있는 속도가 더욱 빨라졌다"고 말했다. 

엔비디아 호퍼 아키텍처는 이전 버전에 비해 전례 없는 성능 도약을 제공한다. 최근 출시된 엔비디아 텐서RT-LLM(TensorRT-LLM)과 같은 강력한 오픈 소스 라이브러리를 비롯해 H100의 지속적인 소프트웨어 개선을 통해 계속해서 기준을 높여가고 있다. H200 도입으로 700억 개의 파라미터를 보유한 LLM인 라마 2(Llama 2)의 추론 속도가 H100에 비해 거의 두 배로 빨라질 것으로 예상된다. 또한 향후 소프트웨어 업데이트를 통해 H200의 추가적인 성능 리더십과 개선이 기대된다.