반도체 전문 온라인 매거진 - 올포칩

[사진] 발표 중인 황선욱 Arm 코리아 사장

Arm은 금일 10억 개 이상의 파라미터로 구성된 AI 모델을 온디바이스에서 실행할 수 있는 새로운 Arm Cortex-A320 CPU와 엣지 AI를 위한 선도적인 AI 가속기인 Arm Ethos-U85 NPU를 탑재한 Armv9 엣지 AI 플랫폼을 발표했다. 

Arm 수석 부사장 겸 IoT 사업부 총괄인 폴 윌리엄슨(Paul Williamson)은 “AI 혁명은 더 이상 클라우드에만 국한되지 않는다. 스마트 시티에서 산업 자동화에 이르기까지 세상이 점점 더 연결되고 지능화됨에 따라, 엣지에서 AI 워크로드를 처리하는 것은 단순한 이점을 넘어 필수가 되고 있다"며, “오늘 발표된 IoT에 최적화된 Armv9 엣지 AI 플랫폼은 이러한 진화의 중요한 이정표가 될 것”이라고 말했다. 

Armv9 엣지 AI 플랫폼, 엣지에서 효율성·보안 및 인텔리전스 통합

OEM은 그 어느 때보다 빠르게 솔루션을 제공해야 한다는 압박을 받고 있다. 공장 현장을 탐색하는 자율 주행 차량, 소프트웨어 업데이트를 통해 기능을 조정할 수 있는 스마트 카메라, 보다 자연스러운 AI 기반 상호 작용을 제공하는 인간 기계 인터페이스(HMI) 등 IoT 애플리케이션 전반에서 증가하는 컴퓨팅 수요를 충족해야 한다. 

혁신과 확장을 가속화하려면 적절한 곳에서 AI 워크로드를 실행할 수 있는 유연성, 더욱 강력한 보안, 향상된 소프트웨어 유연성이 필요하며, Armv9 기술은 이를 대규모로 제공한다. Arm의 새로운 플랫폼은 새로운 초고효율 Armv9 CPU인 Cortex-A320과 트랜스포머 네트워크에 대한 운영자 지원 기능을 갖춘 Ethos-U85 NPU를 결합하여 IoT에 최적화된 세계 최초의 Armv9 엣지 AI 플랫폼을 탄생시켰다. 이 플랫폼은 작년에 출시된 Cortex-M85 기반 플랫폼에 비해 머신러닝 성능이 8배 향상되었다. 

Arm 기술의 보편화는 이제 파트너들이 클라우드에서 엣지에 이르기까지 컴퓨팅의 모든 영역에 걸쳐 Armv9 기술의 성능을 배포할 수 있다는 것을 의미한다. 해당 기술을 라이선스하여 SoC를 구축하는 실리콘 파트너부터 차세대 디바이스를 구축하는 ODM 및 OEM에 이르기까지, AWS, 지멘스(Siemens), 르네사스(Renesas), 어드밴텍(Advantech), 유로테크(Eurotech) 등 업계 최고의 파트너들이 이번 개발을 환영하고 있다. 

차세대 지능형 IoT 디바이스를 위한 안전한 기반을 제공하는 새로운 Cortex-A320

새로운 엣지 AI 플랫폼의 출시는 엣지 컴퓨팅의 진화에 중요한 이정표가 될 것이다. Cortex-A320은 IoT에 고급 AI 기능과 개발자의 이점을 제공하며, 포괄적인 소프트웨어 지원과 함께 전력 효율적인 디바이스를 위해 Armv9 아키텍처의 기능을 확장한다. 

Cortex-A320은 머신러닝 성능을 위한 SVE2와 같은 Armv9 아키텍처 기능을 활용하며, 이전 모델인 Cortex-A35에 비해 10배의 머신러닝 성능 향상과 30%의 스칼라(scalar) 성능 향상을 제공한다. 

또한, 이 플랫폼의 Armv9.2 아키텍처는 PAC(Pointer Authentication), BTI(Branch Target Identification), MTE(Memory Tagging Extension)와 같은 고급 보안 기능을 초소형 Cortex-A 디바이스에도 제공한다. 이는 엣지 디바이스가 종종 노출된 환경에서 작동하고 민감한 데이터를 처리하기 때문에 매우 중요하다. 

엣지 AI가 Arm 플랫폼에 지속적으로 통합됨에 따라, Arm은 이번에 새롭게 추가된 제품을 통해 IoT 환경에 최적화된 최첨단 Armv9 Cortex 프로세서 제품군을 선보인다. 이 제품군은 최고 수준의 성능은 물론, 비용 및 에너지 효율성이 중요한 디바이스까지, 다양한 요구 사항을 충족하도록 설계됐다. 

Cortex-A320에 대한 보다 자세한 내용은 이 블로그에서 확인할 수 있다. 

Arm Kleidi의 IoT 확장

엣지 AI 도입의 가장 큰 장벽 중 하나는 소프트웨어 개발 및 배포의 복잡성이다. 이러한 문제를 해결하기 위해 Arm은 플랫폼의 소프트웨어 에코시스템을 강화하며, 추가 개발자 작업 없이 Arm 기반 CPU에서 AI 및 머신러닝 워크로드를 최적화하도록 설계된 AI 프레임워크 개발자를 위한 컴퓨팅 라이브러리 세트인 Arm Kleidi를 IoT로 확장하고 있다. KleidiAI는 이미 XNNPACK을 통해 Llama.cpp 및 ExecuTorch 또는 LiteRT와 같은 인기 있는 IoT AI 프레임워크에 통합되어, Meta Llama 3 및 Phi-3를 비롯한 주요 모델의 성능을 가속화하고 있다. 예를 들어, Kleidi AI는 Llama.cpp에서 마이크로소프트(Microsoft)의 TinyStories 데이터 세트를 실행할 때 새로운 Cortex-A320의 성능을 최대 70%까지 향상시킨다. 

이는 오늘날과 같이 빠르게 변화하는 기술 환경에서는 출시 기간이 제품의 성패를 좌우할 수 있기 때문에 매우 중요하다. 또한, 새로운 플랫폼은 고성능 Cortex-A 프로세서와의 소프트웨어 호환성을 유지한다. 이러한 확장성을 통해 개발자는 요구 사항의 변화에 따라 성장하고 적응하는 솔루션을 구축할 수 있다. 개발자들은 방대한 Armv9 에코시스템에 액세스할 수 있으며, 리눅스(Linux) 등의 다양한 운영 체제 및 제퍼(Zephyr)와 같은 실시간 운영 체제와의 호환성을 통해 전례 없는 유연성을 확보할 수 있다. 더불어, 기존 도구와 지식을 활용하고 소프트웨어 재사용을 활용하여 출시 기간을 단축하고 총소유비용(TCO)을 절감할 수 있다. 현재 전 세계에서 2천만 명 이상의 Arm 개발자가 활동하고 있어, 이를 기반으로 엄청난 혁신의 잠재력이 실현되고 있다. 

미래 전망

향후 AI의 미래는 엣지로 이전될 것이며, 이번에 공개된 새로운 Arm 플랫폼은 차세대 IoT 혁신을 가속화하는 촉매제 역할을 할 것이다. Armv9 아키텍처의 기능, 고급 AI 성능 및 포괄적인 소프트웨어 지원이 결합되어 OEM과 개발자 모두에게 새로운 가능성을 열어준다. 

에이전트 기반 AI 애플리케이션을 위해 조정된 대규모 언어 모델(LLM)과 소규모 언어 모델(SLM)을 실행하는 이 플랫폼의 기능은 완전히 새로운 범주의 엣지 사용 사례를 창출한다. Arm은 데이터 수집 시점에 더 보다 근접한 곳에서 지능적인 의사결정을 수행함으로써 지연 시간을 단축하고 개인정보 보호를 강화하는 미래로 나아가고 있다. 

이는 단순한 점진적 발전을 넘어, 엣지 컴퓨팅과 AI 프로세싱을 접근하는 방식에 대한 근본적인 변화를 의미한다. Arm은 지금까지는 불가능했던 방식으로 초고효율성과 고급 AI 기능을 결합한 IoT 애플리케이션에 특별히 최적화된 최초의 Armv9 CPU를 선보이게 됐다.