반도체 전문 온라인 매거진 - 올포칩

AI 인프라 경쟁의 중심이 컴퓨팅 성능을 넘어 데이터 저장과 활용으로 확대되고 있다. AI가 생성하는 데이터가 급증하는 동시에 기존 데이터의 보존 기간과 활용 가치까지 높아지면서 스토리지 용량과 접근성, 비용 효율성이 AI 인프라 설계의 핵심 요소로 부상하고 있다. 

WD가 후원한 IDC 백서 ‘확장성을 위한 설계: AI 시대 HDD의 지속적 역할’에 따르면 조사 대상 기업 및 기관의 94.7%가 지난 12개월간 AI 및 생성형 AI 도입 이후 저장해야 할 데이터가 증가했다고 답했다. 61%는 데이터가 25% 이상 늘었다고 응답했으며, 74%는 향후 3년간 25% 이상 증가할 것으로 전망했다. 

AI는 학습 데이터뿐 아니라 모델 체크포인트와 추론 결과, 로그, 합성 데이터 등 다양한 데이터를 지속적으로 생성한다. 컴퓨팅 작업은 종료되더라도 생성된 데이터는 보존돼 새로운 AI 애플리케이션에 다시 활용되면서 데이터가 계속 쌓이는 ‘누적 사이클’을 형성하고 있다는 분석이다. 

보관 넘어 재활용으로…과거 데이터 가치도 상승 

조사 대상의 약 95%는 AI 도입 이후 기존 데이터의 가치가 높아졌다고 답했으며, 74.3%는 데이터를 이전보다 더 오래 보관하고 있다고 응답했다. 특히 75.9%는 AI 워크로드에 활용하기 위해 아카이브된 콜드 데이터를 다시 온라인으로 가져오는 사례가 증가했다고 밝혔다. 96%는 AI 추론과 검색 증강 생성(RAG)을 위해 아카이브 데이터에 더 빠르게 접근해야 할 것으로 전망했다. 

이러한 변화는 AI 인프라의 스토리지 전략에도 영향을 미치고 있다. 조사 대상 기업 및 기관의 엔터프라이즈 데이터 가운데 74.6%가 웜·쿨·콜드 스토리지 계층에 저장돼 있으며, 데이터 레이크의 60% 이상도 콜드 또는 접근 빈도가 낮은 데이터가 차지하는 것으로 나타났다. 

데이터 규모와 보존 기간이 함께 늘어나면서 경제성도 중요한 설계 기준이 되고 있다. 응답자의 98.2%는 스토리지 의사결정에서 테라바이트(TB)당 총소유비용(TCO)을 중요하거나 매우 중요한 요소로 평가했다. 

이번 연구는 AI 인프라를 단순히 컴퓨팅 성능이나 고성능 스토리지 중심으로 설계하기보다 데이터의 전체 수명주기를 고려해야 한다는 점을 보여준다. AI가 과거 데이터까지 새로운 자원으로 활용하면서 대규모 데이터를 얼마나 오래, 경제적으로 저장하고 필요할 때 신속하게 활용할 수 있는지가 AI 인프라의 확장성을 좌우하는 요소로 자리잡고 있다.