반도체 전문 온라인 매거진 - 올포칩

엔비디아(www.nvidia.co.kr CEO 젠슨 황)는 인버스 렌더링 파이프라인 엔비디아 3D 모마 (NVIDIA 3D MoMa)를 발표했다. 이번주 컴퓨터 비전 및 패턴 인식 컨퍼런스에서 엔비디아 리서치는 재즈와 탄생지 뉴올리언스를 기념하는 비디오를 통해 3D 모마에 대한 기술을 선보였다. 

엔비디아 3D 모마는 설계자, 디자이너, 컨셉 아티스트 및 게임 개발자가 객체를 그래픽 엔진으로 빠르게 가져와 작업, 크기 수정, 재료 변경 또는 다양한 조명 효과 실험을 시작할 수 있도록 지원한다. 

2D 이미지에서 3D 객체 추출 

인버스 렌더링(inverse rendering)은 일련의 정지 사진을 물체나 장면의 3D 모델로 재구성하는 기술이다. 엔비디아 그래픽 연구 부사장인 데이비드 룹커(David Luebke)는 ”인버스 렌더링은 오랫동안 컴퓨터 비전과 컴퓨터 그래픽을 통합하는 성배였다. 엔비디아 3D 모마 렌더링 파이프라인은 인버스 렌더링 문제의 모든 부분을 GPU 가속 미분 가능 구성 요소로 공식화한다. 이로써 현대 AI의 기계와 엔비디아 GPU의 원시 컴퓨팅 마력을 사용해 크리에이터가 기존 도구의 제한 없이 가져오고, 편집하고, 확장할 수 있는 3D 객체를 빠르게 제작한다”라고 말했다. 

예술가나 엔지니어에게 가장 유용하게 쓰이려면, 3D 개체는 게임 엔진, 3D 모델러 및 필름 렌더러와 같이 널리 사용되는 도구에 넣을 수 있는 형식이어야 한다. 그 형태는 텍스처 재료를 사용한 삼각형 메쉬로, 3D 도구에서 사용되는 공통 언어이다. 

게임 스튜디오와 다른 크리에이터들은 전통적으로 상당한 시간과 수작업이 필요한 복잡한 사진 측량 기법으로 3D 객체를 제작했다. 뉴럴 래디언스 필드의 최근 작업은 물체나 장면의 3D 표현을 빠르게 생성할 수 있지만 쉽게 편집할 수 있는 삼각형 메쉬 형식으로는 생성할 수 없다. 

엔비디아 3D 모마는 단일 엔비디아 텐서 코어(Tensor Core) GPU에서 1시간 이내에 삼각형 메쉬 모델을 생성한다. 파이프라인의 출력은 크리에이터가 이미 사용하고 있는 3D 그래픽 엔진 및 모델링 도구와 직접 호환된다. 

파이프라인의 재구성에는 3D 메쉬 모델, 재료, 조명 세 가지 기능이 포함되어 있다. 메쉬는 삼각형으로 만들어진 3D 형태의 인위적인(파피에 마세) 모형과 같다. 이를 통해 개발자는 창의적 비전에 맞게 객체를 수정할 수 있다. 재료는 피부처럼 3D 메쉬에 2D 텍스처가 겹쳐진 것이다. 그리고 엔비디아 3D 모마는 장면이 어떻게 점등되는지 예측하여 크리에이터들은 이후 개체의 조명을 수정할 수 있다.