반도체 전문 온라인 매거진 - 올포칩

인공지능(AI) 기술이 데이터센터를 넘어 네트워크 엣지까지 급격히 확산되면서 고속 데이터 처리를 뒷받침할 메모리 인프라의 혁신이 요구되고 있다. 현재 데이터센터의 약 14%만이 AI 워크로드를 처리할 수 있으나 2030년에는 그 비중이 70%에 달할 것으로 전망된다. 이러한 흐름 속에서 기존의 디램(DRAM)과 고대역폭 메모리(HBM)는 대규모 AI 모델이 요구하는 집적도와 확장성 그리고 비용 효율성 측면에서 구조적 한계를 드러내고 있다.

특히 AI 학습과 달리 방대한 모델 저장 공간을 필요로 하는 AI 추론 분야에서 기존 메모리의 한계는 더욱 뚜렷하다. 디램은 용량 확장이 정체된 반면 AI 추론을 위한 메모리 수요는 폭증하고 있으며 낮은 지연 시간이라는 디램의 장점 또한 예측 가능한 데이터 접근 특성을 가진 추론 워크로드에서는 그 효용성이 낮다. 이에 따라 높은 대역폭과 저전력 그리고 비용 효율적인 구조를 갖춘 새로운 메모리 아키텍처의 필요성이 대두되었다.

샌디스크(Sandisk)는 이러한 요구에 부응하기 위해 차세대 AI 컴퓨팅 전용 메모리인 고대역폭 플래시 메모리(HBF, High Bandwidth Flash)를 선보였다. HBF는 비휘발성 저장 매체로서 HBM과 유사한 수준의 대역폭을 유지하면서도 훨씬 높은 용량과 집적도를 제공하는 것이 특징이다. 특히 BiCS 낸드(NAND) 설계 기술과 CBA(CMOS Bonded Array) 웨이퍼 기술을 활용하여 에너지 효율성을 극대화하고 대형 언어 모델이 디램에 근접한 속도로 데이터를 처리할 수 있도록 재설계되었다.

HBF의 도입은 엔터프라이즈와 엣지 컴퓨팅 환경에서 더욱 큰 가치를 발휘한다. 물리적 공간과 전력 소비에 제약이 큰 엣지 디바이스의 경우 고비용의 HBM을 도입하기 어려우나 HBF는 대용량 메모리 수요를 충족하여 스마트폰 등에서도 복잡한 AI 추론을 수행할 수 있게 한다. 또한 중소 규모 엔터프라이즈 환경에서는 HBF 기반 가속기를 통해 고가의 GPU 클러스터 없이도 도메인 특화 모델을 미세 조정할 수 있는 경제적 대안을 제시한다.

결과적으로 HBF는 차세대 시스템 메모리로서 기존의 성능 병목 현상을 해결하고 AI 애플리케이션의 인사이트 도출 속도를 가속화할 것으로 기대된다. 엔지니어링 관계자는 "이제는 추론 모델을 효과적으로 관리하기 위해 메모리 구조를 근본적으로 재고해야 할 시점이다"라고 밝히며 HBF가 AI 컴퓨팅 성장의 장벽을 허물고 최신 데이터센터 및 엣지 네트워크 환경에서 핵심적인 역할을 수행할 것이라고 강조했다. 이러한 메모리 혁신은 자율적인 AI 디바이스가 일상적인 작업부터 과학적 발견에 이르기까지 폭넓게 기여하는 시대를 앞당길 전망이다.