반도체 전문 온라인 매거진 - 올포칩

Arm은 최근 Arm Kleidi 기술을 PyTorch 및 ExecuTorch와 통합하여 차세대 앱이 Arm CPU에서 대규모 언어 모델(LLM)을 실행할 수 있도록 지원한다고 발표했다. Kleidi는 최신 개발자 지원 기술과 핵심 리소스를 결합하여 ML 스택 전반에서 기술 협업과 혁신을 촉진한다. 이러한 중요한 새로운 개발을 통해 Arm은 개발자가 ML 스택의 어느 단계에 있든 원활한 경험을 극대화할 수 있도록 한다. 

Arm의 개발자 기술 부문 부사장인 알렉스 스피넬리(Alex Spinelli)는 “Arm은 소프트웨어 개발자가 Arm 기반 하드웨어에서 가속화된 AI와 ML 워크로드를 쉽게 구현할 수 있는 환경을 조성하기 위해 선도적인 클라우드 서비스 제공업체 및 프레임워크와 긴밀히 협력하고 있다”며, “Kleidi는 출시된 지 불과 4개월 만에 이미 개발을 가속화하고 Arm CPU에서 주요 AI 성능 향상을 실현하고 있으며 Arm과 PyTorch 커뮤니티와의 긴밀한 협력은 해당 기술이 개발자가 효율적인 AI를 활용하는 데 필요한 노력을 대폭 줄여주는 좋은 예”라고 말했다. 

클라우드에서 Kleidi는 Arm 컴퓨팅 라이브러리(ACL)를 통해 PyTorch를 개선한 Arm의 기존 작업을 기반으로 모든 곳에서 Arm의 AI를 최적화하기 위한 청사진을 수립한다. Arm은 개발자가 불필요한 엔지니어링 작업을 직접 수행하지 않고도 중요한 ML 워크로드를 실행하기 위한 플랫폼으로 Arm을 선택하기를 원한다. 이 비전을 향한 핵심 단계로 Arm은 PyTorch 및 TensorFlow와 직접 파트너십을 맺고 이러한 주요 프레임워크에 직접 통합된 필수 Arm 커널(kernels)로 구성된 Arm Kleidi 라이브러리를 통합했다. 

즉, 애플리케이션 개발자는 새로운 프레임워크 버전이 출시되는 즉시 Arm을 기반으로 구축하기 위한 추가 단계를 거치지 않고도 극적인 성능 개선의 이점을 자동으로 누릴 수 있다. 이러한 투자의 긍정적인 영향은 이미 파트너십에서 확인되고 있다.  Meta Llama 3 대규모 언어 모델에 기반하며 AWS Graviton 프로세서에서 실행되는 Arm의 데모 챗봇은 메인라인 PyTorch에서 처음으로 실시간 채팅 응답을 지원한다. ACL을 통해 제공되는 Kleidi 기술을 효율적으로 활용하기 위해 torch.compile에 최적화를 적용한 결과, 다양한 허깅페이스(Hugging Face) 모델 추론 워크로드에서 AWS Graviton3 성능이 1.35배에서 최대 2배까지 향상됐다. 

이 두 가지 인상적인 클라우드 사례는 Arm에서 ML 워크로드를 보편화하기 위해 노력하면서 실현 가능한 성능 가속화의 유형을 나타낸다. Arm은 개발자가 즉시 활용할 수 있도록 새로운 기능을 이전 버전과 호환되도록 하는 등 개발자의 AI 앱이 클라우드부터 엣지까지 자사 기술에서 최상의 성능을 발휘할 수 있도록 지속적으로 투자하고 있다. 

개발자가 Arm이 제공하는 리소스를 실제 사용 사례에 적용하는 것이 중요하기 때문에 Arm은 개발자에게 Arm CPU에서 AI 워크로드를 구축하는 방법을 보다 정확히 보여주기 위해 학습 경로와 함께 데모 소프트웨어 스택을 제작하고 있다. 이를 통해 개발자는 Arm 시스템을 빠르게 채택하고 배포 시간을 단축할 수 있다.