반도체 전문 온라인 매거진 - 올포칩

ST마이크로일렉트로닉스(STMicroelectronics, 이하 ST)와 레오파드 이미징(Leopard Imaging)은 휴머노이드 및 기타 첨단 로보틱스 시스템을 위한 올인원 멀티모달 비전 모듈을 공개했다. ST의 이미징, 3D 장면 매핑, 모션 센싱 기술과 NVIDIA HSB(Holoscan Sensor Bridge) 기술이 결합된 이 모듈은 NVIDIA Jetson 및 NVIDIA Isaac 개방형 로봇 개발 플랫폼과도 완벽하게 통합된다. 이를 통해 휴머노이드 로봇의 크기, 무게, 전력 제약 조건 내에서 비전 시스템 설계를 간소화하고 가속화한다.

ST의 아날로그, 전력, MEMS, 센서 부문 마케팅 및 애플리케이션 부사장인 마르코 안젤리치(Marco Angelici)는 “휴머노이드 로보틱스는 연구 프로젝트나 데모 단계를 넘어 제조 및 자동차 공장, 물류와 웨어하우스, 리테일 및 고객 서비스 등 다양한 분야에서 실질적 역할을 수행하는 강력하고 새로운 머신으로 발전 중이다”며, “레오파드 이미징과의 협력을 통해 ST의 업계 선도적 센서와 액추에이터를 NVIDIA 로보틱스 에코시스템에 원활하게 통합함으로써 사람과 유사한 인지 기능의 피지컬 AI 애플리케이션 도입을 가속화하고 있다”고 밝혔다.

레오파드 이미징의 빌 푸(Bill Pu) CEO는 “ST의 센서 및 액추에이터를 에코시스템 내에서 직접 활용하게 되면서, HSB 인터페이스 전반에 걸쳐 휴머노이드 로봇 비전을 위한 데이터 수집 및 로깅을 표준화하고 간소화할 수 있다”며, “로봇 제작자들은 ST의 멀티 센싱 비전 모듈과 Isaac 툴을 활용해 학습 속도를 높이고 시뮬레이션과 실제 전환(Sim-to-Real) 간의 격차를 신속하게 해결할 수 있다”고 설명했다.

NVIDIA HSB 기반의 이 새로운 모듈은 이더넷을 통해 NVIDIA Jetson과 원활하게 통합되어 센서 데이터를 실시간으로 수집하고, 개발자를 위한 개방형 AI 모델, 시뮬레이션 프레임워크, 라이브러리를 제공하는 NVIDIA Isaac 개방형 로봇 개발 플랫폼과도 연동된다. 이 모듈은 빌드 시스템 및 API(Application Programming Interface), 모바일 로봇을 위해 선별된 AI(Artificial Intelligence) 알고리즘, 샘플 애플리케이션, 도메인 랜덤화(Domain Randomization), 그리고 센서 모델이 포함된 시뮬레이션 환경이 포함돼 있다.

ST는 NVIDIA 로보틱스 및 엣지 AI 분야의 핵심 파트너로서 고정밀 모델 및 PoC 모듈을 비롯해 센서, 드라이버, 액추에이터, 컨트롤러 및 개발 툴을 NVIDIA 로보틱스 에코시스템에 지속적으로 통합하고 있다.

레오파드 이미징의 시스템 비전 모듈은 비전 기반 센싱을 위해 롤링 셔터 및 글로벌 셔터 모드를 결합한 ST의 차량용 등급 RGB-IR 5.1메가픽셀 이미지 센서인 VB1940을 탑재하고 있다. ST는 ST 브라이트센스(BrightSense) 제품군 중 하나인 매스 마켓 및 산업용 버전의 V**943도 출시했으며, 이는 모노크롬 또는 RGB-IR 방식으로 다이 또는 패키지 센서 형태로 제공된다.

모션 센싱을 위한 LSM6DSV16X 6축 관성측정장치(IMU)도 포함하고 있다. 이 IMU는 엣지 AI를 위한 ST MLC(Machine Learning Core)와 SFLP(Sensor-Fusion Low-Power), 사용자 인터페이스를 감지하는 Qvar 정전하 감지 기능 등을 갖추고 있다.

3D 심도 감지를 위한 dToF 올인원 라이다(LiDAR) 모듈인 VL53L9CX도 탑재되어 있다. ST 플라이트센스(FlightSense) 제품군 중 하나인 이 라이다 모듈은 최대9m까지 정확한 거리 측정과 3D 심도 감지 기능을 제공한다. 54 x 42존(약2,300존)의 해상도와 54° x 42°의 넓은 시야각(FoV)으로 1°의 각해상도를 구현하고, 최대60fps의 속도로 근거리 및 원거리 측정과 소형 객체를 감지한다.