반도체 전문 온라인 매거진 - 올포칩

인공지능(AI) 도입을 추진하는 많은 기업이 직면하는 가장 큰 장벽은 성능을 뒷받침하지 못하는 기존 인프라다. 클라우드는 비용 예측이 어렵고 보안 우려가 있으며, 온프레미스 인프라를 대대적으로 업그레이드하기에는 데이터 센터의 전력과 냉각 시스템을 재설계하는 비용이 만만치 않기 때문이다. 에이엠디(AMD)는 이러한 기업들을 위해 기존 데이터 센터 인프라에 그대로 장착해 선도적인 AI 성능을 구현할 수 있는 ‘AMD 인스팅트(Instinct) MI350P PCIe’ 카드를 선보였다. 

추가 설비 투자 없이 기존 랙에 바로 적용 가능한 고성능

에이전틱 AI(Agentic AI) 시대를 대비해 설계된 AMD 인스팅트 MI350P PCIe는 표준 공랭식 서버에 바로 꽂아 사용할 수 있는 듀얼 슬롯 카드 형태다. 데이터 센터의 전력이나 냉각 시스템을 개조할 필요 없이 기존 인프라 내에서 즉시 온프레미스 추론 환경을 구축할 수 있다는 점이 가장 큰 특징이다. 이는 중앙처리장치(CPU)보다는 강력한 AI 연산력이 필요하지만, 전용 GPU 가속기 플랫폼을 구축하기에는 부담을 느끼는 기업들에게 최적의 대안이 된다. 최대 8개의 가속기 카드를 장착할 수 있는 공랭식 시스템은 중소형은 물론 대형 AI 모델의 추론과 검색 증강 생성(RAG) 파이프라인 운영에 이상적이다. 

이번 신제품은 하드웨어 성능 면에서도 압도적이다. MXFP4 정밀도 기준 최대 4,600 테라플롭스(TFLOPS)의 피크 성능을 제공하는데, 이는 현재 엔터프라이즈용 PCIe 카드 중 최고 수준이다. 또한 4TB/s의 대역폭을 갖춘 144GB의 고대역폭 메모리 3e(HBM3E)를 탑재해 방대한 데이터를 실시간으로 처리한다. 특히 저정밀도 데이터 포맷인 MXFP6 및 MXFP4를 네이티브로 지원하고, 주류 8비트 및 16비트 정밀도에 대한 희소성(Sparsity) 가속을 지원하여 전력 효율은 높이면서 메모리 사용량은 줄였다. 

개방형 생태계로 극대화하는 투자 대비 효과(ROI)

AMD는 단순한 성능 확장을 넘어 기업의 수익성(ROI) 극대화에 초점을 맞췄다. MI350P PCIe 카드는 개방형 표준을 기반으로 구축되어 다양한 플랫폼 간 상호 운용성이 뛰어나다. 쿠버네티스 GPU 오퍼레이터(Kubernetes GPU Operator), 클라우드 네이티브 추론 마이크로서비스, 파이토치(PyTorch) 등의 프레임워크를 기본 지원하여 코드 수정을 최소화하면서 추론 워크로드를 이전할 수 있다. 

또한 AMD는 파트너사들에게 오픈 소스 엔터프라이즈 AI 참조 스택을 라이선스 비용 없이 제공한다. 이를 통해 기업들은 토큰당 과금되는 클라우드 방식의 지속적인 비용 부담 없이 온프레미스 환경에서 빠르게 AI 시스템을 가동할 수 있다. 하산 엘 코우리 CEO가 강조했듯, 인프라를 바닥부터 다시 짓지 않고도 더 많은 모델을 구동하고 더 많은 사용자에게 서비스를 제공할 수 있는 길이 열린 것이다. AMD 인스팅트 MI350P PCIe는 기업이 각자의 속도에 맞춰 AI를 도입할 수 있도록 돕는 견고한 토대가 될 것으로 기대된다.