반도체 전문 온라인 매거진 - 올포칩

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)는 차세대 AI 데이터 센터를 지원하기 위해 이전 제품보다 성능이 크게 향상된 차세대 가속 컴퓨팅 플랫폼 엔비디아 호퍼(NVIDIA Hopper) 아키텍처를 발표했다. 미국의 선구적인 컴퓨터 과학자 그레이스 호퍼(Grace Hopper)의 이름을 딴 이 새로운 아키텍처는 2년 전에 출시된 엔비디아 암페어(NVIDIA Ampere) 아키텍처를 계승한다. 

또한 800억 개의 트랜지스터를 탑재한 최초의 호퍼 기반의 GPU인 엔비디아 H100도 발표했다. 세계에서 가장 크고 강력한 액셀러레이터인 H100은 혁신적인 트랜스포머 엔진, 확장성이 뛰어난 엔비디아 NVLink 인터커넥트 등의 획기적인 기능을 갖추고 있어 대형 AI 언어 모델, 딥 추천 시스템, 유전체학 및 복잡한 디지털 트윈을 지원한다. 

젠슨 황(Jensen Huang) 엔비디아 설립자이자 CEO는 "데이터 센터는 인공지능 공장이 되고 있으며 엔비디아 H100은 기업들이 AI가 주도하는 비즈니스를 가속화하기 위해 사용하는 세계 AI 인프라의 엔진"이라고 말했다. 

H100의 결합된 기술 혁신은 엔비디아의 AI 추론 및 훈련 리더십을 확장하여 대규모 AI 모델을 사용하여 실시간 몰입형 애플리케이션을 가능하게 한다. H100은 세계에서 가장 강력한 단일 트랜스포머 언어 모델인 Megatron 530B를 사용하여 실시간 대화 AI에 필요한 1초 미만의 지연 시간을 충족하면서 이전 세대보다 처리량을 30배까지 향상시킨다. 또한 H100을 사용하면 3,950억 개의 매개변수를 사용하여 전문가 혼합과 같은 대규모 모델을 최대 9배 빠르게 교육할 수 있어 교육 시간을 몇 주에서 몇 일로 단축할 수 있다. 

엔비디아의 가속화된 컴퓨팅 요구에 맞게 설계된 최첨단 TSMC 4N 프로세스를 사용하여 800억 개의 트랜지스터로 구축된 H100은 AI, HPC, 메모리 대역폭, 상호 연결 및 통신을 가속화하며 초당 5TB에 가까운 외부 연결이 가능하다. H100은 PCIe Gen5를 지원하고 HBM3를 사용하는 최초의 GPU로 3TB/s의 메모리 대역폭을 실현한다. 20대의 H100 GPU는 전 세계 인터넷 트래픽과 동등한 성능을 유지할 수 있기 때문에 고객들은 데이터에 대한 추론을 실행하는 고급 추천 시스템 및 대규모 언어 모델을 실시간으로 제공할 수 있다. 

H100은 세계 최초로 기밀 컴퓨팅 기능을 갖춘 가속기로, AI 모델과 고객 데이터가 처리되는 동안 이를 보호한다. 또한 고객은 개인 정보 보호에 민감한 산업 및 공유 클라우드 인프라에 대한 페더레이티드 러닝에도 기밀 컴퓨팅을 적용할 수 있다.

새로운 DPX 명령은 경로 최적화 및 유전체학 등 광범위한 알고리즘에 사용되는 동적 프로그래밍을 이전 세대 CPU 대비 40배, GPU 대비 7배 가속화한다. 여기에는 동적 창고 환경에서 자동화 로봇 집단을 위해 최적의 경로를 찾기 위한 Floyd-Warshall 알고리즘과 DNA 및 단백질 분류 및 폴딩을 위한 시퀀스 정렬에 사용되는 스미스-워터맨(Smith-Waterman) 알고리즘이 포함된다. 

호퍼는 H100 기반 인스턴스를 제공할 예정인 주요 클라우드 서비스 공급자 알리바바 클라우드, AWS, 바이두 AI 클라우드, 구글 클라우드, 마이크로소프트 애저(Azure), 오라클 클라우드 및 텐센트 클라우드로부터 광범위한 지원을 받아왔다.