반도체 전문 온라인 매거진 - 올포칩

엔비디아(www.nvidia.co.kr CEO 젠슨 황)가 인텔과 협력해 AI 컴퓨팅 효율성 극대화에 나선다고 밝혔다. 4세대 인텔 제온 스케일러블(4th Gen Intel Xeon Scalable) 프로세서 출시는 엔비디아와 인텔이 높은 에너지 효율성을 가진 AI로 구축된 차세대 가속 컴퓨팅 시스템 제작을 가능하게 했다. 엔비디아 H100 텐서 코어(Tensor Core) GPU와 결합된 이 시스템들은 이전 세대보다 훨씬 더 뛰어난 성능, 더 큰 규모, 더 높은 효율성을 제공해, 와트당 더 높은 연산 성능과 문제 해결 능력을 제공한다. 

인텔의 새로운 CPU가 탑재된 엔비디아 시스템들로 인해 기업은 기존 CPU 전용 데이터센터 서버 대비 평균 25배 높아진 효율성으로 워크로드를 실행할 수 있다. 와트당 제공되는 놀라운 성능은 작업을 마치는 데 필요한 전력이 적게 소요된다는 뜻이다. 따라서 데이터센터에 쓰이는 전력을 최대한 효율적으로 사용해 가장 중요한 작업에 힘을 쏟을 수 있게 해준다. 이 신세대 엔비디아 가속 서버들은 훈련과 추론 속도를 높이기 때문에 이전 세대의 가속 시스템 대비 에너지 효율성을 3.5배 높여준다. 다시 말해 AI 데이터센터는 총 소유 비용(TCO)을 3배 이상 절감한다. 

새로운 4세대 인텔 제온 CPU의 기능 중 하나는 PCIe Gen 5를 지원하는 것이다. 이는 CPU에서 엔비디아 GPU와 네트워킹으로의 데이터 전송 속도를 두 배로 높인다. PCIe 레인(lane)이 증가하면 각 서버 내에서 GPU와 고속 네트워킹의 밀도가 향상된다. 또한 빨라진 메모리 대역폭으로 AI처럼 데이터 집약적인 워크로드의 성능을 향상시킨다. 여기에 연결 당 최대 400Gbps(초당 기가비트)의 네트워킹 속도로 서버와 스토리지 간의 데이터 전송 속도를 높였다. 

H100 PCIe GPU를 탑재한 엔비디아 DGX H100 시스템들과 엔비디아 파트너가 제공하는 서버들은 AI 개발 및 배포 소프트웨어의 엔드 투 엔드, 안전한 클라우드 네이티브 제품군인 엔비디아 AI 엔터프라이즈 라이선스와 함께, 효율적인 기업용 AI의 우수성을 위한 완벽한 플랫폼을 제공한다. 

세계 최고의 목적기반 AI 인프라인 4세대 엔비디아 DGX H100 시스템은 가속 데이터센터의 운영 체제인 엔비디아 베이스 코멘드(Base Command) 소프트웨어를 기반으로 완전히 최적화된 플랫폼을 제공한다. DGX H100 시스템에는 각각 8개의 엔비디아 H100 GPU, 10개의 엔비디아 ConnectX-7 네트워크 어댑터 및 듀얼 4세대 인텔 제온 스케일러블 프로세서를 갖추고 있다. 다라서 대규모 생성 AI 모델, 대형 언어 모델, 추천 시스템 등을 구축하는 데 필요한 성능을 제공한다. 

이러한 차세대 시스템은 엔비디아 AI 엔터프라이즈 소프트웨어 제품군에 최적화돼 운영 효율성을 크게 향상시킨다. 엔비디아 H100에서 실행되는 엔비디아 AI 엔터프라이즈는 데이터사이언스 파이프라인을 가속화하고 예측 AI 모델의 개발 및 배포를 간소화해서 필수적인 프로세스를 자동화하며, 데이터로부터 빠른 인사이트를 제공한다. 

해당 소프트웨어는 참조 애플리케이션, 프레임워크, 사전 훈련된 모델 및 인프라 최적화에 관여된 AI 워크플로우 등의 광범위한 풀스택 소프트웨어 라이브러리를 통해 성공적으로 엔터프라이즈용 AI를 확장시키는 데 필요한 이상적인 기반을 제공한다.