반도체 전문 온라인 매거진 - 올포칩

지난해 베이징에서 개최된 XDF 2019에서 바이두(Baidu)의 엣지보드 (Edgeboard) 데모가 공개되었다.

엣지보드는 모델 중심 아키텍처(Model-Driven Architecture)를 이용해 소프트웨어 정의 하드웨어(Software-Defined Hardware)를 구현한 바이두의 FPGA 기반 임베디드 AI 솔루션이다. 바이두의 소프트웨어 스택은 아래 그림에서 확인할 수 있다.

바이두의 스택은 SoM, 카드, 박스 및 카메라를 비롯해 다양한 형태의 하드웨어를 지원하기 때문에 사용자는 최종 애플리케이션에 따라 적합한 하드웨어를 선택할 수 있다.

이 솔루션은 온보드 AI 추론이 가능한 여러 흥미로운 애플리케이션에 이미 사용되고 있으며, 그 중 일부는 아래 사진에 나와 있다. 첨단 AI 기능을 통해 최종 고객이 향상된 정확성과 낮은 비용 및 높은 생산성을 달성할 수 있도록 해준다.

자일링스의 징크 울트라스케일+(Zynq UltraScale+TM) MPSoC 제품군의 탁월한 디바이스 확장성 덕분에 바이두는 다양한 최종 사용자를 지원할 수 있는 3개의 엣지보드 시리즈를 개발할 수 있었다.

엣지보드(ZU3 기반) 상의 일부 범용 AI 모델의 성능은 아래 표에서 확인할 수 있다.

스노우레이크(Snowlake)

스노우레이크(Snowlake)는 2017년에 설립되었으며, 중국 상하이에 본사를 두고 있다. 이 회사는 딥러닝 컴퓨팅 개발에 중점을 두고, 데이터센터 및 자율주행 등의 애플리케이션을 위한 FPGA 기반 솔루션과 서비스를 제공하고 있다.

XDF 2019에서 스노우레이크는 알베오(Alveo) U200을 이용한 WDRS(Wide & Deep Recommender System) 데모를 선보였다. 이 WDRS는 CPU 대비 짧은 지연시간과 높은 처리량을 달성함으로써 빠르게 증가하는 추천 시스템의 데이터 요건을 효율적으로 충족시킬 수 있다.

스노우레이크는 TensorFlow 모델에 포함된 연산자를 기반으로 분산형 파이프라인 계산을 적용했으며, 이러한 최적화를 통해 추론 성능을 획기적으로 향상시킬 수 있었다.

또한 이 회사는 모델을 구축할 수 있는 툴 키트를 개발했다. 이 툴 키트를 이용하면, 손쉽게 모델을 변경하여 실제 시스템에 구축할 수 있다. 스노우레이크의 툴 키트는 이미 많은 오픈소스 모델을 지원하고 있다.

가속화되지 않는 CPU와 비교해, 스노우레이크의 기술은 매우 높은 처리량과 짧은 지연시간을 달성할 수 있어 총 소유비용(TCO: Total Cost of Ownership)을 5배까지 줄일 수 있다.