반도체 전문 온라인 매거진 - 올포칩

스마트 에지 디바이스의 안정적이고 효율적인 데이터 연결, 감지 및 추론을 지원하는 실리콘 및 소프트웨어 IP 분야의 선두 기업 Ceva가 자사의 Ceva-NeuPro(뉴프로), 에지 AI NPU 제품군을 확장한 Ceva-NeuPro-Nano(뉴프로-나노) NPU를 공개했다. Ceva-NeuPro-Nano NPU는 고효율 및 독립형 NPU로, 반도체 기업 및 OEM 업체가 가전, 산업, 및 범용 AIoT 제품에 사용되는 시스템온칩(SoC)에 TinyML 모델을 통합하는 데 필요한 전력, 성능 및 비용 효율성을 제공한다. 

TinyML은 리소스가 제한된 저전력 디바이스에 머신러닝 모델을 실행하여 AI 기능을 IoT에 적용하는 것을 의미한다. IoT 디바이스에서 효율적이고 전문화된 AI 솔루션에 대한 수요가 증가함에 따라 TinyML 시장은 급성장하고 있다. ABI 리서치에 따르면 2030년까지 TinyML 출하량의 40% 이상이 일반적인 마이크로 컨트롤러(Micro Controller Unit, MCU)가 아닌 TinyML에 특화된 전용 하드웨어로 구동될 것이라 전망했다. Ceva-NeuPro-Nano NPU는 TinyML의 특정 성능 문제를 해결하여 음성, 비전, 예지 보전 및 헬스 센싱 등 가전 및 산업용 IoT 애플리케이션에서 AI를 널리 사용하고, 경제적 및 실용적으로 활용할 수 있도록 돕는다. 

새로운 Ceva-NeuPro-Nano 임베디드 AI NPU 아키텍처는 신경망(Neural Network), 특징 추출(Feature extraction), 제어 코드 및 DSP 코드를 효율적으로 실행할 수 있도록 프로그래밍이 가능하며, 네이티브 트랜스포머 계산(native transformer computation), 희소성 가속(sparsity acceleration) 및 빠른 양자화(quantization) 등 최신 머신러닝 데이터 형식 및 연산을 지원한다. Ceva-NeuPro-Nano NPU는 이러한 최적화된 독립형 아키텍처를 통해 CPU 또는 DSP와 AI 가속기를 함께 사용하는 기존의 TinyML 워크로드 프로세서 솔루션과 비교해 더 작은 실리콘 풋프린트로 최적의 성능 및 뛰어난 전력 효율성을 제공한다. 또한 Ceva-NetSqueeze AI 압축 기술을 통해 중간 압축 해제 단계 없이 압축된 모델 가중치를 직접 처리해 메모리 풋프린트를 최대 80%까지 줄일 수 있어 오늘날 AIoT 프로세서가 다양한 분야의 제품에 더 널리 사용될 수 있도록 돕는다. 

Ceva의 채드 루시엔(Chad Lucien) 센서 및 오디오 사업부 부사장 겸 총괄 매니저는 “Ceva-NeuPro-Nano는 기업이 저전력 IoT SoC 및 MCU에 TinyML 애플리케이션을 쉽게 통합할 수 있도록 하며, 이는 스마트 에지 디바이스에 연결, 감지 및 추론 기능을 지원하는 Ceva의 전략과 맞물려 있다. Ceva-NeuPro-Nano NPU 제품군은 더 많은 기업들이 AI를 최첨단으로 끌어올려 고객에게 더 많은 가치를 제공하는 고급 기능을 갖춘 지능형 IoT 디바이스를 만들 수 있도록 지원한다”며, “Ceva는 무선 IoT 커넥티비티 분야에서의 업계 선도적인 위치와 오디오 및 비디오 센싱(vision sensing) 분야의 강력한 전문 지식을 통해 고객이 TinyML의 잠재력을 최대한 활용하여 혁신적인 솔루션 개발, 사용자 경험 향상, 효율성 개선 및 더 스마트하고 연결된 환경 구축에 기여하는 등 다양한 혜택을 누리고, 더 나은 제품 및 서비스를 제공할 수 있도록 지원한다”고 말했다. 

ABI 리서치의 폴 쉘(Paul Schell) 산업 분석가는 “Ceva-NeuPro-Nano는 스마트 에지 IoT 디바이스에 온디바이스 AI를 구현하기 위한 강력한 솔루션이다. Ceva-NeuPro-Nano는 다양한 최종 시장에서 배터리로 작동하는 디바이스가 음성, 비전, 센싱 기능을 상시 사용하기 위해 필요한 전력, 성능 및 비용 요건을 충족하며, TWS 이어버드, 헤드셋, 웨어러블 및 스마트 스피커부터 산업용 센서, 스마트 가전, 홈오토메이션 디바이스, 카메라 등 에너지가 제한된 AIoT 디바이스가 TinyML을 실행할 수 있도록 한다”고 밝혔다. 

Ceva-NeuPro-Nano NPU는 32개의 int8 MAC을 갖춘 Ceva-NPN32와 64개의 int8 MAC을 갖춘 Ceva-NPN64 총 두 가지 구성으로 제공되며, 두 구성 모두 압축된 모델 가중치를 직접 처리하기 위한 Ceva-NetSqueeze 기술이 적용됐다. Ceva-NPN32는 음성, 오디오, 객체 탐지 및 이상 탐지(anomaly detection)를 위한 대부분의 TinyML 워크로드에 최적화됐다. Ceva-NPN64는 가중치 희소성(weight sparsity), 더 큰 메모리 대역폭 및 더 많은 MAC 사용과 4비트 가중치 지원을 통해 성능을 2배로 향상시키며, 이를 통해 객체 분류, 얼굴 감지, 음성 인식 및 건강 모니터링 등 보다 복잡한 온디바이스 AI 사용 사례에 향상된 성능을 제공한다.