반도체 전문 온라인 매거진 - 올포칩

엔비디아(NVIDIA)가 에이전틱 AI 시스템을 위한 인터랙티브 AI 추론 가속기 '엔비디아 그록 3 LPX(NVIDIA Groq 3 LPX)'의 양산에 돌입하며 차세대 추론 시장 공략을 가속화한다. 이번에 선보인 엔비디아 그록 3 LPX는 차세대 베라 루빈(Vera Rubin) 플랫폼을 확장하는 전용 가속기로, 실시간 초고속 토큰 생성을 구현해 지연 시간에 민감한 에이전틱 AI 및 코딩 워크로드의 처리 속도를 크게 끌어올렸다.  

에이전틱 AI 지원 위한 초고속 추론 성능 달성

수백 및 수천 단계의 복잡한 추론 과정을 거치는 에이전틱 AI 특성상 빠른 토큰 생성은 필수적이다. 엔비디아 그록 3 LPX는 오픈소스 에이전틱 모델인 젬마 4 31B(Gemma 4 31B)를 대상으로 한 아티피셜 애널리시스(Artificial Analysis) 벤치마크 평가에서 10만 토큰의 대용량 컨텍스트 환경 기준 초당 3,400개의 출력 토큰을 생성하며 역대 최고 성능을 기록했다. 이는 기존 대체 플랫폼 대비 응답 속도를 최대 4배 향상해 수 시간 이상 소요되던 복잡한 코딩 및 검증 작업을 단 몇 분 만에 완료할 수 있도록 지원한다.  

베라 루빈 NVL72 연동을 통한 독자적 랙 스케일 아키텍처

엔비디아 베라 루빈 NVL72 플랫폼과 긴밀하게 연동되는 엔비디아 그록 3 LPX는 256개의 LP30 가속기와 고성능 온칩 SRAM, 전용 칩 간 연결(C2C) 링크로 구성된 랙 스케일 아키텍처를 취하고 있다. 대용량 컨텍스트 처리 능력과 초저지연 연산 구조를 겸비해 복잡한 대화 및 자율형 에이전트 루프 작성을 지원하는 한편, AI 클라우드 기업 네비우스(Nebius)를 비롯한 주요 파트너사의 추론 인프라에 가장 먼저 도입될 예정이다.  

글로벌 IT·AI 생태계 혁신 이끌 것

젠슨 황(Jensen Huang) 엔비디아 창립자 겸 CEO는 "엔비디아 그레이스 블랙웰(Grace Blackwell)과 NVL72가 거대 언어 모델(LLM) 추론에 혁신을 가져왔다면, 베라 루빈은 에이전틱 AI 시대를 맞아 그 성능을 한층 더 극대화한다"라며 "초고속 토큰 생성을 전담하는 그록 3 LPX의 도입은 지능 생성 방식을 혁신하고 전 세계적으로 급증하는 AI 컴퓨팅 수요에 대응하는 결정적 도약이 될 것"이라고 밝혔다.