반도체 전문 온라인 매거진 - 올포칩

AI 컴퓨팅 기술 분야의 선두주자인 엔비디아(NVIDIA)가 미국 새너제이에서 열린 세계 최대 AI 가속 컴퓨팅 콘퍼런스인 엔비디아 GTC 2026에서 전자 구조 계산을 GPU로 전환하는 새로운 엔비디아 CUDA-X 라이브러리인 엔비디아 cuEST를 출시했다. 이번 발표에 따르면 초기 도입 기업으로 어플라이드 머티어리얼즈(Applied Materials), 삼성(Samsung), 시높시스(Synopsys), TSMC가 포함되어 반도체 설계 및 공정 혁신에 나선다.

최첨단 칩이 500억 개 이상의 트랜지스터를 포함하게 되면서, 이를 설계하기 위해서는 원자 수준의 근본적인 물리 문제에 대한 이해가 필수적이다. 특히 전자의 결합과 이동, 박막 간의 상호작용을 파악하는 것이 중요하다. 팀 코스타(Tim Costa) 엔비디아 산업 컴퓨팅 엔지니어링 총괄 책임자는 "반도체 스케일링이 소재의 물리적 한계에 도달함에 따라 업계는 차세대 칩 설계의 양자역학을 시뮬레이션하기 위한 컴퓨팅 성능 향상을 요구하고 있다"며, 엔비디아 cuEST를 통해 양자 병목을 넘어 고정밀 화학 모델링을 프로덕션에 적용함으로써 혁신을 가속화할 것이라고 밝혔다.

산업계에 미치는 영향

엔비디아 cuEST는 이미 주요 반도체 및 장비 기업의 워크플로우에 도입되어 괄목할 만한 성과를 내고 있다. 어플라이드 머티어리얼즈는 이 라이브러리로 가속된 밀도 범함수 이론(DFT)을 사용해 복잡한 구조를 모델링하고 물질 특성을 예측하며 반응 경로를 연구하고 있다. 삼성은 자사의 내부 파이프라인에 엔비디아 cuEST를 통합하여 주요 양자 화학 워크로드에서 최대 5배의 추가 속도 향상을 구현했다.

시높시스는 엔비디아 cuEST와 퀀텀ATK(QuantumATK)를 활용해 가우시안(Gaussian) 기반 DFT 기능을 확장했으며, 반도체 워크플로우 시뮬레이션을 최대 30배까지 가속화하고 있다. TSMC 역시 가속된 양자 화학 기술을 활용해 차세대 실리콘 설계를 위한 공정 발전에 박차를 가하고 있다.

연구실에서 생산 현장으로의 도약

원자 수준 모델링에서 가장 널리 쓰이는 밀도 범함수 이론(DFT)은 정확도와 확장성의 균형이 뛰어나지만, 높은 계산 비용 탓에 그간 산업 현장보다는 연구 단계에 머물러 왔다. 과거에는 CPU 클러스터에 의존해 후보 물질을 평가하는 데 수일이 걸리기도 했다. 엔비디아 cuEST는 이러한 고정밀 양자 화학 계산을 산업 규모의 실제 프로덕션 워크플로우에서 구현할 수 있도록 지원한다.

엔비디아 cuEST는 중첩, 운동 에너지, 핵 인력, 쿨롱(Coulomb) 및 교환-상관(exchange-correlation) 등 가우시안 기반 DFT 계산의 핵심 행렬을 GPU가 가속할 수 있도록 최적화된 루틴을 제공한다. 또한 표준 일반화 기울기 근사부터 하이브리드 함수까지 다양한 함수 근사를 지원하여 엔지니어가 계산 비용과 정확도 사이의 균형을 정교하게 맞출 수 있게 한다. 엔비디아의 목표는 이처럼 고정밀 물질 모델링 기술을 연구실에서 실제 생산 현장으로 이동시켜 반도체 산업의 물리적 한계를 극복하는 것이다.