엔비디아, 디지털 휴먼 마이크로서비스 출시, 생성형 AI 아바타 미래 열어

2024년 06월 05일

엔비디아(www.nvidia.co.kr CEO 젠슨 황)가 컴퓨텍스(COMPUTEX)에서 차세대 디지털 휴먼 구현 가속화를 위한 엔비디아(NVIDIA) ACE 생성형 AI 마이크로서비스의 정식 출시를 발표했다. 이를 통해 엔비디아는 ACE 플랫폼에 새로운 혁신적 생성형 AI를 곧 도입할 예정이라고 밝혔다.

고객 서비스, 게임, 헬스케어 분야의 기업들은 ACE 기술을 최초로 도입해, 고객 서비스, 원격 의료, 게임, 엔터테인먼트 분야에 사실적인 디지털 휴먼 제작, 애니메이션화, 운영을 간소화한다.

현재 출시된 엔비디아 ACE 디지털 휴먼 생성형 AI 기술 제품군은 다음과 같다:

엔비디아 리바(Riva) ASR, TTS, NMT: 자동 음성 인식(automatic speech recognition, ASR), 텍스트-음성 변환(text-to-speech, TTS), 번역
엔비디아 네모트론(Nemotron) LLM: 언어 이해와 상황에 맞는 응답 생성
엔비디아 오디오투페이스(Audio2Face): 오디오 트랙을 기반으로 사실적인 얼굴 애니메이션 생성
엔비디아 옴니버스(Omniverse) RTX: 실시간 경로 추적 기술을 통해 사실적인 피부와 헤어 구현

새로 발표된 기술은 다음과 같다:

엔비디아 오디오투제스처(Audio2Gesture): 오디오 트랙을 기반으로 바디 제스처를 생성하는 기술, 곧 출시 예정
엔비디아 네모트론-3 4.5B: 저지연 온디바이스 RTX AI PC 추론을 위해 특별히 제작된 새로운 소형 언어 모델(SLM)

엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)은 "디지털 휴먼은 산업에 혁명을 일으킬 것"이라며, "엔비디아 ACE가 개발자 생태계에 멀티모달 거대 언어 모델과 신경 그래픽 혁신을 제공함으로써 컴퓨터와 상호 작용하는 것이 인간과 상호 작용하는 것처럼 자연스러운, 사용자 목적 중심(intent-driven) 컴퓨팅의 미래를 앞당기고 있다"고 말했다.

1억대 RTX AI PC에 디지털 휴먼 도입

현재까지 엔비디아는 개발자들이 데이터 센터에서 운영할 수 있도록 ACE를 NIM 마이크로서비스 형태로 제공해왔다. 이제 엔비디아는 1억 대의 RTX AI PC와 노트북에 설치할 수 있는 ACE PC NIM 마이크로서비스를 구축하고 있다.

여기에는 엔비디아 최초의 소형 언어 모델(SML)인 엔비디아 네모트론-3 4.5B가 포함된다. 이 모델은 클라우드에서 실행되는 거대 언어 모델(LLM)과 비슷한 정밀도와 정확도로 기기에서 직접 실행될 수 있도록 특별히 제작됐다. 네모트론-3 4.5B 소형 언어 모델은 현재 얼리 액세스 단계에 있다. 엔비디아 오디오투페이스와 엔비디아 리바 ASR 온디바이스 모델도 곧 얼리 액세스로 제공될 예정이다.

새로운 엔비디아 AI 추론 매니저(AI Inference Manager) 소프트웨어 개발 키트(software development kit, SDK)는 ACE를 PC에 배포하는 과정을 간소화한다. 필요한 AI 모델, 엔진, 종속성을 PC에 사전 구성하는 것은 물론, PC와 클라우드 간의 AI 추론을 원활하게 조율한다.

인월드 AI(Inworld AI)와 공동으로 개발한 코버트 프로토콜(Covert Protocol) 기술 데모의 업데이트 버전이 컴퓨텍스에서 공개됐다. 이 데모는 지포스 RTX PC에서 로컬로 실행되는 오디오투페이스와 리바 ASR을 사용해 플레이어가 대화형 언어로 NPC(Non-Playable Character, 플레이어가 직접 조정할 수 없는 캐릭터)와 상호 작용하고 영향을 주며 임무를 완수할 수 있도록 한다.

최신 ACE 기술로 디지털 휴먼 생태계 확장

ACE는 아우(Aww Inc.), 델 테크놀로지스(Dell Technologies), 검션(Gumption), 히포크라틱 AI(Hippocratic AI), 인벤텍(Inventec), 아워팜(OurPalm), 퍼펙트 월드 게임즈(Perfect World Games), 리얼루전(Reallusion), 서비스나우(ServiceNow), 소울보틱스(Soulbotix), 소울쉘(SoulShell), 유니큐(UneeQ) 등과 같은 기업에서 다양한 애플리케이션을 개발하며 큰 반향을 일으키고 있다.

일본에 본사를 둔 선구적인 가상 인간 기업 아우는 2018년 첫 번째 가상 셀러브리티(celebrity)인 ‘이마(Imma)’를 출시했다. 이마는 이후 50개국 이상에서 주요 글로벌 브랜드의 얼굴이 됐다. 이제 아우는 실시간 애니메이션에 ACE 오디오투페이스 마이크로서비스를 활용해 사용자와 고도의 인터랙티브한 커뮤니케이션 경험을 제공할 계획이다.

게임 개발자이자 퍼블리셔인 퍼펙트 월드 게임즈는 새로운 신화 속 황야 기술 데모인 ‘레전드(Legends)’에 ACE를 도입한다. 이 사실적인 플레이어는 영어와 중국어로 완전히 상호작용 가능하고, 다국어를 구사하는 AI NPC와 상호작용할 수 있다. 엔비디아 오디오투페이스 NIM을 사용하면 캐릭터가 말할 때 그 음성에 반응해 캐릭터 얼굴이 실시간으로 움직여 사실적인 표정을 만들 수 있다.

AI에 집중 투자 하는 주요 기술 기업인 인벤텍은 엔비디아 오디오투페이스 NIM을 활용해 VRSTATE 플랫폼 내 헬스케어 AI 에이전트(AI agent)를 강화하고 있다.

이러한 기술 결합으로 AI 에이전트는 더욱 매력적이고 편안한 가상 상담을 제공할 수 있다. 컴퓨텍스에서 인벤텍은 환자들이 자신의 건강에 대한 정보를 얻을 수 있도록 도와주는 AI 에이전트를 선보이고 있다.

비즈니스 혁신을 위한 AI 플랫폼인 서비스나우는 최근 나우 어시스트 생성형 AI 경험(Now Assist Gen AI Experience)의 생성형 AI 서비스 에이전트 데모에서 ACE NIM을 선보였으며, 디지털 아바타가 소매, 여행 등 여러 산업에서 고객과 직원 간의 상호 작용을 향상시킬 수 있는 가능성을 강조했다.

델 테크놀로지스는 지난달 델 테크놀로지스 월드(Dell Technologies World)에서 최첨단 디지털 비서를 위한 생성형 AI 솔루션(Generative AI Solution for Digital Assistants)을 발표했다. 이 제품을 통해 기업들은 소매, 헬스케어, 고객 서비스 등의 다양한 산업 분야에서 자연스러운 대화를 통해 고객과 소통하는 지능형 디지털 비서를 활용할 수 있다.

엔비디아, 컴퓨텍스에서 디지털 휴먼 스타트업 축하

엔비디아 아트 팀들은 텍스트에서 비디오로 생성된 ’디지털 젠슨(digital Jensen)’ 아바타를 제작하기 위해 신디시아(Synthesia)와 아워 원(Hour One) 등 ACE 기반 생성형 AI 도구를 사용했다. CEO 젠슨 황의 독특한 목소리와 스타일을 특징으로 한 이 다국어 아바타는 일레븐랩스(ElevenLabs)의 독점 AI 음성 및 목소리 기술을 통해 중국어와 영어로 생성됐다. 또한 엔비디아는 AI 음성 기술을 전문으로 하는 엔비디아 인셉션(Inception) 회원사 보이스모드(Voicemod)와 협력해 CEO 젠슨 황의 기조연설 엔딩 테마곡을 작곡했다.

ACE NIM 정식 출시

리바, 오디오투페이스 등 서버 구축을 위한 엔비디아 ACE NIM 마이크로서비스가 출시됐으며, 개발자들이 엔터프라이즈급 지원을 받을 수 있도록 엔비디아 AI 엔터프라이즈(AI Enterprise) 소프트웨어가 추가됐다. 여기에서 RTX AI PC에서 실행되는 ACE NIM 마이크로서비스에 대한 얼리 액세스에 등록할 수 있다.

젠슨 황의 컴퓨텍스 기조연설을 통해 최신 ACE 콘텐츠 정보를 확인할 수 있다.