반도체 전문 온라인 매거진 - 올포칩

AI 컴퓨팅 수요가 급증하면서 데이터센터의 전력 효율이 AI 인프라 확장의 핵심 과제로 부상하고 있다. AMD는 2024년 대비 2026년 중반 기준 AI 에너지 효율을 약 4배 향상한 것으로 추산하며, 2030년까지 AI 학습 및 추론을 위한 랙 스케일 에너지 효율을 20배 높이겠다는 목표를 향해 예상보다 빠르게 진전하고 있다고 밝혔다. 

현재까지 달성한 4배의 효율 향상은 당초 이 시점에 예상했던 3배를 웃도는 수준이다. AMD는 CPU와 GPU뿐 아니라 메모리, 인터커넥트, 소프트웨어, 전력 및 냉각 등을 시스템 차원에서 공동 최적화함으로써 AI 성능 증가에 비례해 에너지 소비가 늘어나는 문제에 대응하고 있다. 

AMD 수석 부사장 겸 코퍼레이트 펠로우인 샘 나프지거(Sam Naffziger)는 “차세대 AI 효율 향상은 컴퓨팅 실리콘과 메모리, 인터커넥트, 소프트웨어, 랙 스케일 시스템 설계 전반의 긴밀한 공동 최적화에 달려 있다”며 “2026년까지 약 4배 향상된 성과는 이러한 접근 방식의 강점과 전체 시스템에 걸친 진전을 보여준다”고 말했다. 

컴퓨팅·메모리·인터커넥트 공동 최적화로 AI 성능/W 향상 

AMD는 AI 시스템의 성능과 효율을 좌우하는 핵심 요소로 컴퓨팅 성능, 메모리 대역폭, 인터커넥트 대역폭을 꼽았다. 첨단 공정과 아키텍처를 통해 와트당 부동소수점 연산 성능을 높이고, 고대역폭 메모리와 대용량 캐시, 메모리·컴퓨팅 간 긴밀한 통합을 통해 불필요한 데이터 이동과 전력 소비를 줄이는 방식이다. 고속 스케일업 인터커넥트 역시 CPU와 GPU 등 시스템 구성요소 간 데이터 공유의 병목현상을 줄이는 역할을 한다. 

ROCm 소프트웨어 스택과 개방형 표준을 통한 소프트웨어 최적화도 병행한다. 이를 통해 대규모 AI 학습뿐 아니라 처리량과 생성 토큰당 에너지 소비가 중요한 추론 워크로드의 효율을 높인다는 전략이다. 

AMD는 이러한 기술을 기반으로 2030년에는 2024년 대비 동일한 에너지로 20배 많은 AI 컴퓨팅 성능을 제공할 수 있을 것으로 전망했다. 동일한 컴퓨팅 성능을 기준으로 하면 2024년 570개 랙이 담당하던 작업을 2030년에는 약 2개 AMD 랙으로 처리해 사용 단계 전력 소비를 20배 줄일 수 있을 것으로 예상했다. 

이를 통해 AI 및 HPC 고객은 제한된 전력과 냉각 인프라 내에서 더 많은 컴퓨팅 성능을 확보하고 운영 전력과 총소유비용(TCO)을 줄이면서 AI 인프라를 확장할 수 있을 것으로 기대된다.