엔비디아, 데이터 처리 속도 20배 향상된 매그넘(Magnum) IO 소프트웨어 제품군 출시

2019년 11월 20일

엔비디아(www.nvidia.co.kr, CEO 젠슨 황)가 매그넘(Magnum) IO을 발표했다. 매그넘 IO는 데이터 과학자 및 고성능컴퓨팅(HPC) 연구원들이 엄청난 양의 데이터를 단 몇 분 내에 처리할 수 있도록 지원하는 소프트웨어 제품군이다.

스토리지 및 인풋·아웃풋(I/O) 병목현상 제거에 최적화된 매그넘 IO는 복잡한 금융 분석, 기후 모델링 및 기타 HPC 워크로드를 수행하기 위해 엄청난 양의 데이터 세트로 작업할 시 멀티 서버, 멀티 GPU 컴퓨팅 노드의 데이터 처리 속도를 최대 20배까지 개선한다.

엔비디아는 데이터다이렉트 네트웍스(DataDirect Networks), 엑셀레로(Excelero), IBM, 멜라녹스(Mellanox), 웨카IO(WekaIO) 등을 비롯한 네트워킹 및 스토리지 분야의 업계 선두기업들과 긴밀한 협업을 통해 매그넘IO를 개발했다.

엔비디아 창업자 겸 CEO 젠슨 황은 “대량의 수집된 데이터나 시뮬레이션된 데이터를 처리하는 것은 인공지능(AI)과 같은 데이터 중심 과학의 핵심이다. 데이터의 규모와 속도가 기하급수적으로 증가하면서, 데이터 처리는 데이터센터의 주요 도전과제이자 비용 문제 중 하나로 떠올랐다”고 설명했다.

젠슨 황 CEO는 이어 “초고성능의 컴퓨팅에는 마찬가지로 초고성능의 I/O가 필요하다. 매그넘 IO는 컴퓨팅을 혁신한 엔비디아의 GPU 가속을 I/O 및 스토리지에 제공함으로써 이를 구현한다. 이제 AI 연구진 및 데이터 과학자들은 데이터를 기다릴 필요없이 본연의 핵심 업무에 집중할 수 있게 됐다”고 덧붙였다.

매그넘 IO의 핵심에는 GPU다이렉트(GPUDirect)가 있는데, 이는 데이터가 CPU를 우회하여 GPU, 스토리지 및 네트워킹 디바이스가 제공하는 ‘개방형 고속도로’로 이동할 수 있는 경로를 제공한다. 엔비디아 NV링크(NVLink) 및 NCCL은 물론이고 OpenMPI 및 UCX를 비롯한 다양한 통신 인터커넥트 및 API와 호환되는 GPU다이렉트는 P2P 및 RDMA(Remote Direct Memory Access) 엘리먼트로 구성된다.

가장 최근 추가된 GUP다이렉트 스토리지(GPUDirect Storage) 엘리먼트를 통해 연구원들은 스토리지에 접근할 때 CPU를 우회하고 재빨리 데이터 파일에 접근하여 시뮬레이션이나, 분석 또는 시각화 작업을 수행할 수 있다.