반도체 전문 온라인 매거진 - 올포칩

생성형 AI 확산과 함께 GPU 성능 경쟁이 가속화되면서 AI 데이터센터의 새로운 병목 요소로 메모리 용량 한계가 부상하고 있다. 특히 고성능 GPU를 대규모로 투입하더라도 메모리 용량과 접근 구조가 이를 뒷받침하지 못하면 GPU 활용률이 크게 떨어지는 문제가 발생하면서 메모리 중심 컴퓨팅 아키텍처 중요성도 빠르게 커지는 모습이다. 

프라임마스(Primemas)는 최근 CXL(Compute Express Link) 기반 대용량 메모리 확장 솔루션 ‘JBOM(Just a Bunch of Memory)’을 올해 하반기부터 양산 공급한다고 밝혔다. 회사는 마이크론에 양산 공급을 추진하는 한편, 삼성전자와는 차세대 CXL 메모리 솔루션 공동 개발도 진행하며 글로벌 AI 메모리 시장 공략에 나서고 있다. 

JBOM은 다수의 메모리 모듈을 하나의 메모리 풀(pool) 형태로 구성해 서버 메모리를 수십~수백TB 규모로 확장할 수 있도록 설계된 솔루션이다. 기존 CPU 서버의 D램 용량 한계를 넘어 대규모 메모리 자원을 공유할 수 있도록 지원하는 것이 핵심이다. 프라임마스는 올해 40TB~120TB급 솔루션을 공급하고, 향후 240TB 이상으로 확대하는 로드맵도 추진하고 있다. 

최근 AI 데이터센터에서는 GPU 자체 성능보다 메모리 구조가 전체 AI 처리 효율을 좌우하는 사례가 늘어나고 있다. 업계에서는 연산 성능 대비 메모리 용량이 부족할 경우 GPU 유휴 시간이 증가하면서 데이터센터 효율 저하로 이어진다고 분석하고 있다. 

실제 알리바바가 공개한 ‘벨루가(Beluga)’ 연구에서는 8TB급 CXL 메모리 확장 환경에서 추론 엔진(vLLM) 처리량이 기존 대비 7.35배 향상된 것으로 나타났다. 이는 AI 성능 경쟁에서 메모리 확장 구조가 핵심 변수로 떠오르고 있음을 보여준다는 평가다. 

GPU 중심에서 메모리 중심 구조로 전환 가속 

업계에서는 AI 인프라 구조가 단순 GPU 확장 중심에서 메모리 중심 컴퓨팅 구조로 이동하고 있다는 분석도 나온다. 특히 CXL 기술은 메모리를 확장·공유할 수 있는 차세대 인터커넥트 기술로 주목받고 있으며, AI 데이터센터의 초대용량 메모리 풀 구현 핵심 기술로 부상하고 있다. 

전덕호 프라임마스 기술전략 담당 상무는 "GPU를 더 추가하는 방식만으로는 한계가 명확하다"며 "결국 메모리 병목을 어떻게 해결하느냐가 AI 성능 경쟁의 핵심이 될 것"이라고 설명했다. 

프라임마스는 글로벌 메모리 생태계와 협력을 확대하며 시장 입지를 강화하고 있다. 마이크론과는 양산 공급을 추진하고 있으며, 삼성전자와는 차세대 CXL 메모리 솔루션 공동 개발을 진행 중이다. 또한 미국 실리콘밸리를 기반으로 글로벌 컴플라이언스와 데이터센터 시장 대응 역량을 강화하며 미국 정부기관 AI 데이터센터 실증 사업과 글로벌 데이터센터 기업 협업도 확대하고 있다. 

업계에서는 AI 데이터센터 규모가 급격히 확대되면서 향후 GPU뿐 아니라 메모리 확장 기술과 CXL 기반 메모리 아키텍처 경쟁도 더욱 치열해질 것으로 전망하고 있다.