반도체 전문 온라인 매거진 - 올포칩

Arm이 새로운 Mali-C55 ISP(Image Signal Processor) 출시를 발표했다. 이 ISP는 현재까지 Arm에서 가장 작고 설정이 용이한 제품으로, 첫 번째 공개 라이선시인 르네사스(Renesas)를 포함한 파트너사들에게 환영받으며 이미 인기를 입증했다. Mali-C55는 업그레이드된 이미지 화질을 제공하고 다양한 조명 및 날씨 조건에서 작동 가능하며, 면적과 전력 제한이 있는 애플리케이션에서 최대의 성능과 기능을 제공하도록 설계되어 스마트 카메라 및 엣지 AI 비전 사용 사례에 적합하다. 

Arm IoT 및 임베디드 사업부 부사장인 모하메드 아와드(Mohamed Awad)는 “ISP는 상업용, 산업용 또는 가정용 스마트 카메라와 드론을 포함한 광범위한 IoT 비전 시스템 애플리케이션을 지원하는 가장 중요한 정보 생성 디바이스 중 하나”이며, “미래의 디바이스에서 고품질 이미지 처리에 대한 수요가 증가함에 따라, Arm의 ISP 기술 로드맵은 지속적인 투자가 필요한 영역이다”고 말했다. 

Mali-C55의 첨단 기술은 여러 시장에서 향상된 기능을 제공할 예정이다. Mali-C55를 통해 감시 카메라와 보안 카메라는 최대 75mph(시속 120.7km)의 속도로 이동하는 차량 번호판의 정확한 정보를 인식하는 등, 보다 중요한 세부 사항을 감지할 수 있다. 가정용 카메라와 보안 시스템은 내부 및 외부 모두에서 고해상도 이미지를 캡처할 수 있으며, 스마트 홈 허브는 안전한 시각적 잠금 해제와 같은 고급 기능을 효율적으로 탑재할 수 있다. 

Arm은 개발자를 대상으로 ISP를 제어하기 위한 통합 소프트웨어 패키지를 제공할 뿐만 아니라, Arm의 파트너사가 각자의 애플리케이션에서 원하는 이미지 품질을 얻을 수 있도록 튜닝 및 보정 툴 풀세트를 제공하고 있다. 또한 Arm의 최신 IoT 토탈 솔루션 로드맵에는 Mali-C55와 통합할 예정인 비전 토탈 솔루션이 포함된다. 

최소 면적 및 전력 예산에서 이미지 품질의 한계 극복

최대 8개의 개별 입력을 위한 다중 카메라 기능, 최대 8K의 이미지 해상도 및 최대 48메가픽셀(MP)의 이미지 크기를 지원하는 Mali-C55는 이미지 품질, 처리량, 전력 소비 및 반도체 면적의 가장 효율적인 조합을 제공한다. 동급 최고의 Mali-C52 ISP를 기반으로 구축된 Mali-C55는 향상된 톤 매핑 및 공간 노이즈 감소, 하이 다이내믹 레인지(HDR) 센서 지원 강화, 그리고 다양한 노이즈 제거 기술을 위한 신경망 네트워크를 이용하는 머신러닝 액셀러레이터와의 원활한 통합 등의 기능을 통해 어디에서도 찾아볼 수 없는 이미지 품질을 실현한다. 여러 개의 Mali-C55 ISP를 결합함으로써 화상 회의와 같이 48 MP 이상의 기능이 필요한 애플리케이션에서 더 큰 이미지 크기를 얻을 수 있다. 

임베디드 및 IoT 비전 애플리케이션에서 실리콘 풋프린트와 비용은 중요한 요소이다. Arm은 Mali-C55를 통해 이전 세대 제품 대비 거의 절반가량의 반도체 면적으로 향상된 기능을 제공하여 전력 소비를 크게 낮춤으로써 배터리 수명을 연장하고, 그 과정에서 디바이스에 들어가는 비용도 줄였다. 

고급 머신러닝이 필요한 비전 시스템

머신러닝이 엣지에 가까워짐에 따라 더 많은 ISP를 시스템온칩(SoC)에 통합하여 고급 이미지 프로세싱을 활용할 수 있다. Arm은 Mali-C55와 머신러닝 액셀러레이터 간의 통합을 용이하게 하여 고품질 비전 시스템이 필요한 디바이스에서 새로운 수준의 온디바이스 프로세싱을 제공하고 있다. 이는 ISP의 출력을 머신러닝 액셀러레이터로 직접 전송할 수 있기 때문이다. 따라서 추론을 절충할 필요 없이 디바이스에서 클라우드로 전송되는 데이터 양을 줄임으로써 비용과 처리 시간을 줄일 수 있다. 

다양한 시장에서의 핵심 요소, 구성 가능성

끊임없이 발전하는 비전 시스템을 필요로 하는 애플리케이션은 광범위하기 때문에 이미징 기술은 시장의 특정 요구사항에 적응할 수 있어야 한다. 예를 들어, 저가 가정용 카메라 시스템에는 단순하고 제한된 기능을 필요로 하는 반면, 상업용 카메라에는 고해상도, 노이즈 감소 및 보안 강화와 같이 더욱 정교한 기능이 요구된다. 반도체 파트너와 OEM은 애플리케이션의 요구사항에 따라 기능을 자유롭게 추가하거나 제거할 수 있어야 하는데, 이가 바로 Arm이 가장 설정이 용이한 ISP로 Mali-C55를 설계한 이유다. Mali-C55는 다중 카메라를 지원하고 머신러닝 액셀러레이터와 통합될 뿐만 아니라 업계 표준 AXI와 AHB 인터페이스를 포함하고 있어 Cortex-A 또는 Cortex-M 기반 SoC와 쉽게 통합될 수 있다.