반도체 전문 온라인 매거진 - 올포칩

마이클 아벨(Michael Abel)

▲ 채팅은 하나의 응답을 제공하지만, AI 에이전트는 검증까지 마친 결과물을 제공한다. 즉, 단일 GPU 추론이 아닌 시스템 전체의 결과물이다. 

AI 에이전트 도입이 빠르게 확산되고 있으며, 현재 대부분의 에이전트는 클라우드에서 추론을 수행한다. 이는 클라우드 API 비용 증가, 민감한 데이터의 외부 전송, 네트워크에 연결되어 있어야만 워크플로우를 실행할 수 있다는 점을 의미한다. 반면 추론을 로컬에서 수행하면 상황은 달라진다. 토큰당 클라우드 비용이 발생하지 않고, 데이터가 기기를 벗어나지 않으며, 오프라인에서도 낮은 지연 시간으로 동작할 수 있다. 또한 모델과 에이전트를 직접 제어할 수 있다. 그렇다면 현실적인 AI 에이전트 워크로드를 과연 로컬 환경에서 실행할 수 있느냐는 것이다. 

앞서 AMD는 추론이 클라우드에서 이뤄지는 경우에도 시스템에서 가장 중요한 업그레이드는 GPU가 아니라 CPU일 수 있다는 점을 설명했다. 에이전트 루프(계획 수립, 라우팅, 데이터 이동, 결과 조합)는 오케스트레이션 과정이며, 토큰 생성이 어디에서 이뤄지든 이러한 오케스트레이션 작업은 로컬에서 CPU가 담당하기 때문이다. 

이번에는 온디바이스 추론 환경에서 그 이야기를 완성하고자 한다. 에이전트 전체가 로컬에서 실행되면, 많은 사람들은 먼저 어떤 시스템이 더 뛰어난 GPU를 갖추고 있는지 묻는다. 그러나 AI 에이전트 워크플로우는 하나의 대규모 행렬 연산으로 끝나는 작업이 아니다. 파싱(parse), OCR, 청크 분할(chunking), 임베딩(embedding), 검색(retrieval), 생성(generation), 검증(validation) 등으로 구성되어 오케스트레이션과 추론이 결합된 파이프라인이며, 이 과정에서 상당수 단계는 GPU를 사용하지 않는다. 이러한 형태의 워크로드에서는 가장 큰 가속기를 갖춘 시스템보다 CPU와 GPU를 비롯한 각 구성 요소가 균형 있게 설계된 시스템이 더 우수한 성능을 발휘한다. 

평가 지표가 바뀌었고, 그것이 모든 것을 바꾸고 있다.

▲ 평가 지표는 워크플로우 전체의 결과로 이동한다: 워크플로우 완료 시간과 워크플로우당 비용 

챗봇 시대에는 GPU 성능을 평가하는 두 가지 핵심 지표인 첫 토큰 생성 시간과 초당 생성 토큰 수가 중요했다. 이 두 지표는 모두 하나의 모델이 하나의 응답을 얼마나 빠르게 생성하는지를 나타낸다. 그러나 AI 에이전트는 완료되고 검증된 작업 결과를 기준으로 평가된다. 이에 따라 핵심 성과 지표(KPI) 역시 전 과정에 걸친 완료시간과 완료된 워크플로우당 비용으로 바뀐다. 토큰 생성은 전체 워크플로우의 한 단계에 불과하다. 오케스트레이션 과정에는 문서 준비, 임베딩 및 근거 자료 검색, 여러 엔진 간 데이터 이동, 출력 결과 검증 등이 포함되며, 이러한 작업은 전 과정에 걸친 워크플로우 완료 시간에서 상당한 비중을 차지할 수 있다. 따라서 추론 단계에서의 높은 초당 토큰 생성 속도만으로는 실제 작업이 얼마나 빨리 완료됐는지, 또는 그 비용이 얼마나 들었는지를 충분히 설명할 수 없다. 결국 토큰 생성과 CPU 기반 오케스트레이션은 모두 전체 파이프라인을 구성하는 요소이지만, AI 에이전트 워크플로우에서는 전 과정에 걸친 완료 시간이 가장 의미 있는 성능 지표가 된다. 

현실적인 워크로드를 전 과정에 걸쳐 측정하다 

이를 정확하게 평가하기 위해 AMD는 HEPA(Hermes Executive Presentation Agent)를 개발했다. HEPA는 대규모 팀 공유 드라이브를 가정한 고정된 로컬 데이터셋을 기반으로, 로컬 AI 에이전트가 경영진 보고용 프레젠테이션과 이를 뒷받침하는 메모, 차트, 출처를 명시한 참고자료 부록까지 작성하도록 하는 벤치마크다. HEPA는 현실의 기업 지식 근로자(Knowledge Worker)의 업무를 대상으로 로컬 AI 에이전트의 전 과정에 걸친 성능을 측정한다. 데이터셋은 실제 업무 환경을 반영하도록 구성됐다. 관련 자료뿐 아니라 중복되거나 오래된 문서, 서로 상충하는 정보가 함께 포함돼 있으며, OCR 처리가 필요한 스캔 문서와 이미지 기반 자료도 포함된다. AI 에이전트는 이 데이터셋을 읽고 스캔된 자료에 OCR을 수행한 뒤, 모든 자료를 청크로 분할하고 임베딩하며, 필요한 근거 자료를 검색해 제한된 증거 패키지를 구성해야 한다. 이후 최종 결과물을 생성하고 정해진 품질 검증 기준을 모두 통과해야 한다. 즉, HEPA는 모델의 개별 처리량이 아니라 품질 검증을 통과한 최종 결과물을 기준으로 성능을 평가한다.

▲ 8개 파이프라인 단계 중 7개는 CPU에서 실행되고, GPU는 모델 생성만 담당한다 

측정 환경은 다음과 같다. 로컬 데이터 소스 302개와 사전 준비된 청크 801개를 사용했으며, 오케스트레이터는 Qwen3.6-35B-A3B(Mixture of Experts, 활성 파라미터 약 30억 개, 4비트)를 llama.cpp를 통해 구동했다. 임베딩은 CPU에서 FastEmbed ONNX nomic-embed-text-v1.5를 사용했으며, 실제 Tesseract OCR 역시 CPU에서 수행했다. 또한 두 시스템 모두 동일한 데이터셋과 모델, 설정을 적용했으며, 각각 5회 중 5회 유효 실행과 25개 중 25개의 결정론적 검증 항목을 모두 통과했다. 이러한 구성에서는 8개 파이프라인 단계 가운데 7개가 CPU에서 실행되고, GPU는 토큰 생성 단계만 담당한다. (세부 구성은 아래 '시스템 구성' 참조) 

결과: AMD가 더 빠르고 더 낮은 비용으로 작업을 완료하다

▲ DGX 스파크는 개별 추론을 더 빨리 수행하지만, AMD는 전 과정에 걸친 검증된 워크플로우를 55.5초 더 빨리 완료한다 

AMD 라이젠(Ryzen) AI 맥스+ 395 프로세서를 탑재한 AMD 라이젠 AI 헤일로(Halo)는 AI 에이전트 워크플로우를 위해 설계됐다. 동일한 리눅스 환경에서 5회에 걸쳐 동일한 워크플로우를 수행한 결과, AMD 라이젠 AI 헤일로는 엔비디아 DGX 스파크 그레이스 블랙웰(DGX Spark Grace Blackwell(GB10)) 대비 전 과정에 걸친 워크플로우 완료 시간과 CPU 오케스트레이션 성능, 완료된 워크플로우당 비용에서 모두 우위를 보였다. 

AMD 라이젠 AI 헤일로는 CPU 오케스트레이션에서 엔비디아 DGX 스파크보다 34% 더 빠른 성능을 기록했다. AMD 시스템은 CPU 측 준비 작업을 152.1초 만에 완료한 반면, DGX 스파크는 229.9초가 소요됐다. 특히 성능 차이를 만든 핵심 요소는 CPU에서 수행되는 임베딩과 라우팅 작업으로, AMD는 71.5초, DGX 스파크는 139.6초가 걸려 AMD가 거의 두 배 가까이 빨랐다. 

또한 AMD 라이젠 AI 헤일로는 엔비디아 DGX 스파크보다 전 과정에 걸친 워크플로우를 15% 더 빠르게 완료했다. AMD는 품질 검증을 통과한 워크플로우를 311.6초 만에 완료했으며, DGX 스파크는 367.1초가 소모됐다. AMD가 55.5초 더 빠르게 작업을 마친 것이다. 이는 AI 에이전트 워크로드에서 가장 중요한 핵심 성과 지표(KPI)인 '품질 검증을 통과한 최종 결과물까지 걸리는 시간'을 보여준다. 

비용 측면에서도 AMD 라이젠 AI 헤일로가 우세했다. 3년간의 하드웨어 감가상각 비용을 기준으로 연속 운영 환경(에너지 비용 제외)을 가정하면, AMD는 워크플로우당 약 0.0132달러가 소요된 반면 DGX 스파크는 약 0.0182달러가 소요됐다. AMD는 하드웨어 도입 비용이 더 낮고 동일한 시간 동안 더 많은 작업을 완료할 수 있기 때문에 완료된 워크플로우당 비용이 약 27% 낮았다. 

DGX 스파크는 추론 단계에서 더 뛰어난 성능을 보였지만, 워크플로우 전체에서는 AMD에 뒤졌다. 이는 추론이 전체 파이프라인의 한 단계에 불과하며 CPU가 담당하는 오케스트레이션 성능이 전체 결과에 큰 영향을 미치기 때문이다. 두 시스템 모두 최적의 환경으로 구성됐으며, AMD 시스템은 Vulkan 기반의 llama.cpp를, 엔비디아 시스템은 CUDA 기반의 llama.cpp를 사용했다. AMD는 추론 단계에서는 뒤쳐졌지만, 최종적으로는 전체 작업을 더 먼저 완료했다. 

AMD가 오케스트레이션 단계에서 앞서는 이유

▲ 임베딩과 라우팅에서 CPU 성능 차이가 가장 크게 나타났다: AMD 71.5초, DGX 스파크 139.6초 

이러한 성능 차이는 CPU 기반 작업이 병렬 처리되는 방식에서 비롯된다. 파싱, OCR(스레드 수 제한), 임베딩, 라우팅은 모두 데이터 병렬 처리가 가능한 작업으로, CPU 코어와 스레드 수에 따라 성능이 확장되며 데이터셋 규모가 커질수록 그 차이가 더욱 커진다. 라이젠 AI 맥스+ 395 프로세서는 SMT를 통해 16개의 '젠(Zen) 5' 코어와 32개의 스레드, 즉 32개의 유효 작업 스레드 제공한다. 여기에 AVX-512/VNNI 벡터 가속과 문서 처리 및 검색 스택을 위한 네이티브 x86 도구를 지원한다. 반면 엔비디아 DGX 스파크의 그레이스 블랙웰은 SMT를 지원하지 않는 20개의 Arm 코어를 탑재했으며, AVX-512 대신 SVE2를 지원한다. 더 많은 스레드와 더 넓은 벡터 연산을 지원하는 AMD 시스템은 더 많은 원본 파일을 동시에 파싱하고, 임베딩하며, 라우팅할 수 있다. 그 결과 AI 에이전트의 전체 완료 시간에서 큰 비중을 차지하는 CPU 기반 준비 작업을 더 빠르게 수행할 수 있다. 

하나의 칩이 아니라 하나의 시스템이 중요하다

▲ 하나의 에이전트, 두 개의 엔진, 하나의 메모리 풀: CPU는 오케스트레이션을, GPU는 생성을 담당하며, 통합 메모리가 모델을 상시 유지한다 

내부적으로는 하나의 오케스트레이션 에이전트가 여러 개의 상주 모델을 구동하며, 작업은 시스템의 각 엔진에 분산된다. CPU는 에이전트 루프와 준비 단계를 담당한다. 300개 이상의 데이터 소스를 파싱하고, 청크로 분할하며, 어떤 근거 자료가 중요한지 판단하는 임베딩 및 라우팅 모델을 실행한다. GPU는 토큰 생성을 담당한다. 또한 대용량 통합 메모리는 모델과 데이터를 메모리에 상주시켜 각 단계 간 데이터 전달을 효율적으로 유지한다. 이러한 구조 덕분에 다양한 모델을 온디바이스 환경에서 함께 운용하는 것이 가능해진다. 

챗봇 시대에는 어느 GPU가 더 뛰어난지가 중요한 질문이었다. 그러나 AI 에이전트 시대에는 더 중요한 질문이 있다. 어느 시스템이 워크플로우를 더 빠르게, 더 낮은 비용으로 완료하는 것이다. 온디바이스 환경에서는 CPU, GPU, 통합 메모리가 균형 있게 구성돼 초당 생성 토큰 수가 아니라 워크플로우 완료 시간과 완료된 워크플로우당 비용을 최적화한 시스템이 해답이다. AMD 라이젠 AI 헤일로는 GPU 성능만 극대화하는 대신, 이러한 균형 잡힌 시스템을 구현하도록 최적화되었다.

▲ CPU, GPU, 통합 메모리가 하나의 시스템으로 작동할 때 지능은 완성된 작업으로 더 빠르게 이어진다. 

어떤 시스템은 토큰 생성 속도 경쟁에서는 앞설 수 있지만, 실제 작업에서는 뒤처질 수 있다. 온디바이스 AI 에이전트가 오케스트레이터와 상시 실행되는 소형 모델, 임베딩 모델, 리랭커, OCR, 음성 및 이미지 모델 등 다양한 모델 포트폴리오를 갖추게 될수록 균형 잡힌 시스템이 제공하는 이점은 더욱 커진다. 챗봇 시대는 GPU의 시대였다면, AI 에이전트 시대는 시스템 전체의 성능이 경쟁력을 좌우하는 시대다.