반도체 전문 온라인 매거진 - 올포칩

댄 맥나마라, AMD 컴퓨트 및 엔터프라이즈 AI 총괄 수석 부사장 

AI 인프라에 대한 논의는 대개 GPU에서 AI 모델을 실행하는 것에서 시작된다. 그러나 실제로 AI 인프라의 요구사항은 점차 모델 자체보다 이를 둘러싼 전체 워크플로우에 의해 결정되고 있다. 

에이전틱 AI 시스템은 단순히 프롬프트에 답변하는 데 그치지 않는다. 사용자의 의도를 해석하고, 필요한 맥락을 검색하며, 다음 단계를 계획하고, 다양한 도구를 호출하고, 정책을 적용하고, 샌드박스 환경에서 코드를 실행하며, 트랜잭션을 수행하고, 그 결과를 관찰한 뒤 최종 결과를 제공한다. 

이러한 각 단계는 서로 다른 워크로드로 구성되며, 모두 합쳐져 하나의 복합적인 워크플로를 형성한다. 어떤 작업은 높은 코어 집적도를 요구하고, 어떤 작업은 높은 클럭 속도와 예측 가능한 지연 시간이 중요하다. 또 다른 작업은 메모리 용량, I/O 성능, 데이터 지역성, 전력 효율성, 또는 다수의 서비스를 동시에 호스팅할 수 있는 능력에 의존한다. 

에이전틱 AI가 더욱 보편화됨에 따라 인프라 운영팀에는 단일한 컴퓨팅 프로파일만으로는 충분하지 않다. CIO와 기업의 의사결정자들은 에이전틱 AI의 전체 워크플로우에 맞춰 최적화된 다양한 CPU 포트폴리오가 필요하다. 

AMD 에픽(EPYC) 서버 CPU 포트폴리오는 이러한 다양한 역할을 수행하기에 적합한 제품군이다. 하나의 CPU로 모든 요구를 충족하는 범용 솔루션이 아니라, 에이전틱 AI를 구성하는 다양한 워크로드에 각각 최적화된 CPU를 제공한다. (에이전틱 AI에서 CPU의 중요성은 이전 블로그 '에이전틱 AI가 CPU와 GPU의 공식을 바꾼다'에서 자세히 다뤘다.) 

에이전틱 AI 워크플로우 내부 

에이전트가 하나의 작업을 수행할 때는 목표를 여러 단계로 나눈 뒤, 이를 순차적으로 처리하며 필요에 따라 완료 전까지 여러 차례 이전 단계로 되돌아가는 과정을 반복한다. 일반적인 시퀀스에서는 먼저 요청이 정책이 적용되는 게이트웨이를 거친다. 이후 일반적으로 소규모 AI 모델로 구성된 계획 계층(planning layer)이 작업을 어떻게 처리할지 결정한다. 이어 에이전트는 데이터베이스를 조회하고, 보다 심층적인 추론을 위해 GPU 클러스터를 활용하며, 그 추론 결과를 바탕으로 다양한 도구를 실행한다. 이후 결과를 검증한 뒤, 작업을 다시 반복할지 아니면 종료할지 판단한다. 

이처럼 에이전틱 AI는 단일 워크로드가 아니라 전 과정에 걸친(end to end) 워크플로우로 이해해야 한다. 따라서 적절한 인프라 전략은 각 워크플로우를 먼저 분석한 뒤, 각 단계에 적합한 CPU 리소스를 배치하는 것에서 시작된다. 

AMD는 이 워크플로우의 모든 단계에 걸쳐 최적화된 솔루션을 제공한다. 높은 클럭 속도와 코어 집적도 기반의 컴퓨팅에는 AMD 에픽 프로세서, AI 추론 및 학습에는 AMD 인스팅트(Instinct) 가속기, 그리고 데이터를 예측 가능하게 전송할 수 있도록 지원하는 펜산도(Pensando) 네트워킹을 통해 에이전틱 AI 워크플로우 전반을 뒷받침한다. 

지연 시간이 중요한 영역, 처리량이 중요한 영역, 그리고 두 가지가 모두 필요한 영역 

워크플로우의 각 단계는 요구사항이 서로 다르기 때문에 AMD는 다양한 특성의 제품으로 에픽 포트폴리오를 구성했다.

• 에이전틱 오케스트레이션, 샌드박스 실행, 툴 호출: 여러 에이전트가 동시에 샌드박스 환경(예: 파이썬)에서 코드를 실행하거나 API를 호출하고 데이터베이스를 조회하는 환경에서는 클럭 속도보다 높은 코어 집적도가 더 중요할 수 있다. 5세대 AMD 에픽 서버 프로세서는 최대 192개의 코어와 동시 멀티스레딩(SMT)을 지원하는 384개의 스레드를 제공한다. 또한 올해 말 출시 예정인 차세대 에픽 프로세서 “베니스(Venice)”는 최대 256개의 코어와 512개의 스레드를 지원할 예정이다.
• 엔터프라이즈 애플리케이션에서의 툴 실행: 다양한 툴과 엔터프라이즈 애플리케이션을 호출할 수 있어야 에이전트의 활용도가 높아진다. 폭넓은 코어 구성과 높은 성능을 갖춘 CPU는 다양한 유형의 대규모 요청을 효율적으로 처리할 수 있다. AMD 에픽 9005 프로세서 제품군은 8~192개의 코어와 최대 640GB/s의 메모리 대역폭을 제공해 이러한 요구를 충족하며, '베니스'는 코어 수를 1.3배, 메모리 대역폭을 2.5배까지 확대할 예정이다.
• 추론 기반의 리즈닝(Reasoning): 에이전트가 작업을 수행하는 데 필요한 지능을 제공하기 위해서는 추론이 필수적이다. 대규모 언어 모델은 대부분 GPU에서 실행되며, 호스트 CPU는 GPU가 최대 성능을 발휘하도록 지원하는 역할을 한다. 가속기를 지속적으로 활용하려면 호스트 노드 CPU는 우수한 코어당 성능, 높은 클럭 속도, 적절한 코어 수(생각보다 적은 수의 코어가 적합한 경우도 존재), 메모리 대역폭, I/O 및 네트워킹 성능을 균형 있게 갖춰야 한다. 이러한 요소가 적절히 조합된 호스트 노드 CPU는 GPU 클러스터에 필요한 작업을 지속적으로 공급해 각 클러스터가 최대한 많은 토큰을 생성하도록 지원한다. AMD 에픽 9575F 프로세서는 최대 5GHz로 동작하는 64개의 코어를 통해 뛰어난 단일 코어 성능을 제공하며, “베니스”는 에픽 프로세서의 고클럭 제품군을 한층 더 확장할 예정이다. 

기존 인프라 접근 방식의 과제

기업 고객들과 논의해 보면 두 가지 공통적인 패턴이 두드러집니다. 

첫째, 많은 기업이 여전히 16코어와 32코어 CPU 같은 기존 사양을 기준으로 CPU 인프라 구매를 표준화하고 있다. 그러나 에이전틱 AI 워크플로우는 단계에 따라 더 많은 코어 수를 요구하기도 하고, 반대로 더 높은 클럭 속도가 필요한 경우도 있다. 따라서 고객은 이러한 서로 다른 요구사항에 맞게 유연하게 인프라를 구성할 수 있어야 한다. 이제는 단일 CPU 표준에 맞추는 방식에서 벗어나, 에이전틱 AI 워크플로우에 최적화된 CPU 포트폴리오를 구성하는 방향으로 사고방식을 전환해야 한다. 

둘째, 에이전트가 기존 IT 인프라를 더욱 적극적으로 활용하게 되면서 엔터프라이즈 애플리케이션과 추론 서버에는 사용량이 기하급수적으로 증가하는 효과가 나타난다. 직원들이 직접 에이전트를 구축하고 배포할 수 있게 되면 에이전틱 AI의 도입은 빠르게 확산된다. 이에 따라 IT 계획 담당자는 에이전트 사용량이 크게 증가할 경우 데이터베이스를 비롯해 전사적자원관리(ERP), 고객관계관리(CRM), 비즈니스 인텔리전스(BI), ID 관리 플랫폼, 그리고 추론 서버 등의 인프라에 어떤 변화가 발생할지를 미리 고려해야 한다. 

CIO를 위한 질문 

에이전틱 AI는 기업이 인프라를 설계하고 확장하는 방식을 변화시키고 있다. 이를 단일 GPU 전략이나 하나의 CPU로 모든 요구를 충족하려는 획일적인 문제로 접근하는 IT 리더는 한계에 직면할 가능성이 높습니다. 반면, 각 단계마다 서로 다른 컴퓨팅 요구사항을 고려해 전 과정에 걸친 워크플로우를 설계하는 기업은 에이전트가 확산될수록 인프라를 더욱 효율적으로 확장할 수 있다. 

기업이 에이전틱 AI를 위해 CPU와 GPU를 몇 개 도입해야 하는지가 핵심 질문은 아니다. 중요한 것은 여러 워크로드와 다양한 단계로 구성된 에이전틱 AI의 작동 방식에 맞춰 인프라를 적절히 구성하고 있는지이다. 각 단계를 조기에 분석하고 단계별로 적합한 컴퓨팅 프로필을 선택한다면, 에이전틱 AI가 확산되는 과정에서도 속도와 효율성을 확보하며 경쟁력 있는 비즈니스 입지를 확보할 수 있을 것이다.