엔비디아, "AI와 컴퓨터 그래픽 결합으로 메타버스 강화"
엔비디아, "AI와 컴퓨터 그래픽 결합으로 메타버스 강화"
  • 차수상 기자
  • 승인 2022.08.11 11:40
  • 댓글 0
이 기사를 공유합니다

젠슨 황 CEO, ‘시그라프’에서 45분간 특별연설
엔비디아 옴니버스의 새로운 기능 예시
엔비디아 옴니버스의 새로운 기능 예시

[디지털경제뉴스 차수상 기자] "AI와 컴퓨터 그래픽의 결합은 인터넷의 차세대 진화인 메타버스를 강화할 것이며, 이는 연결된 가상 세계와 디지털 트윈의 고향이자 실제 업무와 놀이를 위한 장소가 될 것이다. 더불어 가장 인기 있는 로봇 형태 중 하나가 될 디지털 인간 아바타로 메타버스에 활기를 불어넣을 것이다.“

엔비디아 설립자이자 CEO인 젠슨 황(Jensen Huang)은 시그라프(SIGGRAPH)에서 45분간의 특별연설을 했다. 주요 발표 내용은 ▲아바타 생성을 위한 새로운 플랫폼인 엔비디아 옴니버스 아바타 클라우드 엔진(Omniverse Avatar Cloud Engine) ▲메타버스 언어인 USD(Universal Scene Description) 구축 계획 ▲가상 세계 및 디지털 트윈 생성을 위한 컴퓨팅 플랫폼인 엔비디아 옴니버스(NVIDIA Omniverse)의 주요 확장 ▲머신 러닝으로 그래픽 워크플로 강화할 수 있는 도구 등이다.

젠슨 황 CEO는 “이번에 발표한 내용은 새로운 프로그래밍 모델, 새로운 아키텍처 및 표준을 갖춘 최신 컴퓨팅 플랫폼인 메타버스를 더욱 발전시킬 것이다. 증강현실이 포함된 가상 3D 제품의 소비자, 통신사가 무선 타워를 최적화하고 배포하기 위해 무선 네트워크의 디지털 트윈을 생성하는 회사, 레이아웃과 물류를 최적화하기 위해 창고 및 공장의 디지털 트윈을 생성하는 회사들이 여기에 해당한다“며, ”메타버스 애플리케이션은 이미 시작됐다“고 강조했다.

◆아바타 생성 새로운 플랫폼 ‘엔비디아 옴니버스 아바타 클라우드 엔진’ = 아바타는 디지털 공장에서 일하고 온라인 게임에서 즐기고 전자 상거래를 위한 고객 서비스를 제공할 것이다. 디지털 인간과 아바타는 자연어 처리, 컴퓨터 비전, 복잡한 얼굴 및 신체 애니메이션 등이 필요하다. 즉, 현실적으로 움직이고 말하기 위해 복잡한 기술을 밀리초 단위로 동기화해야 한다.

엔비디아는 옴니버스 아바타 클라우드 엔진(ACE)으로 단순화 및 가속화를 목표로 한다. 아바타 클라우드 엔진은 대화형 AI에서 오디오투페이스(Audio2Face), 오디오투이모션(Audio2Emotion) 등 애니메이션 도구에 이르기까지 엔비디아의 작업을 기반으로 하는 AI 모델과 서비스 모음이다.

엔비디아 그래픽 및 AI 담당 이사인 사이먼 위엔(Simon Yuen)은 "옴니버스 ACE를 통해 개발자는 퍼블릭 또는 프라이빗 클라우드의 모든 엔진에서 아바타 애플리케이션을 구축, 구성, 배포할 수 있다. 이를 통해 우리는 모든 플랫폼에 대화형 아바타 구축이 민주화되는 것을 목표로 한다"고 전했다.

ACE는 내년 초 임베디드 시스템과 모든 주요 클라우드 서비스에서 실행될 예정이다. 위엔은 “우리는 감정을 분석하고 자동으로 아바타에 전송하는 기능을 추가했다"며, 음성에서 직접 얼굴 애니메이션을 만들 수 있는 AI 모델인 옴니버스 오디오투페이스의 최신 버전도 시연했다.

오디오투페이스의 향후 버전은 단일 사진으로 아바타를 생성해 질감을 자동으로 적용하고 애니메이션용 3D 메시를 생성한다. 또한 AI가 비디오를 보고 배울 수 있는 근육 움직임의 충실도가 높은 시뮬레이션을 구현할 것이다. 가상 그루밍에 예측대로 반응하는 실물 같은 머리카락도 마찬가지이다.

◆3D 인터넷 토대 ‘USD’, ‘실제 세계보다 더 많은 기회 여는 열쇠 될 것” = 메타버스 초강대국들은 3D 인터넷의 토대인 USD(Universal Scene Description)를 기반으로 한다. 엔비디아 옴니버스 및 시뮬레이션 기술 부사장인 레브 레바레디안(Rev Lebaredian)은 "메타버스는 3D 세계의 모든 것을 설명하는 표준 방법이 필요하다. 우리는 픽사가 개발하고 오픈 소스로 제공하는 USD가 인터넷의 다음 시대를 위한 표준 장면 설명이라고 믿는다”며, 2D 웹에서 USD를 HTML과 비교해 설명했다.

레바레디안은 “USD가 실제 세계보다 더 많은 기회를 여는 열쇠가 될 것”이라며, "엔비디아는 실시간 대규모 가상 세계와 산업용 디지털 트윈에서 USD의 성능을 높이는 것을 목표로 하고 있다. 국제 문자 세트, 지리 공간 좌표 및 IoT 데이터의 실시간 스트리밍에 대한 USD를 지원하는 계획을 갖고 있다“고 밝혔다.

엔비디아는 USD 채택을 가속화하기 위해 USD에 대한 호환성 테스트, 인증 제품군을 출시할 예정이다. 이를 통해 개발자는 맞춤형 USD 구성 요소가 예상한 결과를 생성한다는 것을 알 수 있다.

엔비디아는 또한 산업용 디지털 트윈 및 AI 교육 워크플로에 사용할 수 있도록 설계된 시뮬레이션 지원 USD 자산 세트를 발표했다. 이는 USD 준비 장면, 주문형 튜토리얼, 문서 작성 및 강사 주도 과정을 포함해 온라인에서 무료 제공되는 다양한 USD 리소스에 포함된다.

◆“옴니버스는 가상 세계를 실행하는 컴퓨팅 엔진” = 젠슨 황 CEO는 옴니버스를 “USD 플랫폼, 메타버스 애플리케이션 구축을 위한 툴킷, 가상 세계를 실행하기 위한 컴퓨팅 엔진”이라고 불렀다.

옴니버스의 최신 버전에는 업그레이드된 핵심 기술과 인기 있는 도구에 대한 더 많은 연결 등을 포함한다. 옴니버스 커넥터(Connector)라고 불리는 링크는 현재 유니티, 블렌더, 오토데스크 알리아스, 지멘스 JT, 심스케일, 개방형 공간 정보 컨소시엄 등을 위해 개발 중이다. 커넥터는 PTC 크레오, 비주얼 컴포넌츠 및 사이드 FX 후디니용 베타 버전으로 제공된다. 이러한 새로운 개발은 옴니버스 네트워크의 일부인 지멘스 액셀러레이터에 합류해 더 많은 산업 고객을 디지털 트윈 시대로 맞이한다.

엔비디아의 전문 그래픽 담당 부사장인 스티브 파커(Steve Parker)는 “인터넷과 마찬가지로 옴니버스는 산업 및 분야 전반에 걸쳐 사용자를 연결하는 ‘네트워크의 네트워크이다’"라고 말했다.

AWS 및 어도비에서 델, 에픽, 마이크로소프트에 이르는 하드웨어, 소프트웨어 및 클라우드 서비스 공급업체를 포함해 대략 12개의 기업들이 시그라프에서 옴니버스 기능을 선보였다. 또한 6개의 파트너가 AI 및 가상 세계와 같은 주제에 대해 엔비디아 기반 세션을 진행했다.

◆MDL을 사용한 물리적으로 정확한 재료 시뮬레이션 등 새로 갖춰 = ‘옴니버스’ 업그레이드 = 파커는 옴니버스의 몇 가지 기술 업그레이드 내용을 자세히 설명했다. 여기에는 MDL(Material Definition Language)을 사용한 물리적으로 정확한 재료 시뮬레이션, 피직스(PhysX)를 사용한 실시간 물리학, 하이브리드 렌더링 및 AI 시스템인 RTX가 포함된다.

파커는 "이러한 핵심 기술 축은 엣지에서 클라우드에 이르는 엔비디아 고성능 컴퓨팅에 의해 구동된다"고 말했다. 예를 들어, 피직스는 소프트 바디 및 입자 천 시뮬레이션을 지원해 실시간으로 가상 세계에 더 많은 물리적 정확도를 제공한다. 엔비디아는 오픈 소스 MDL이므로 오픈GL 또는 벌칸과 같은 그래픽 API 표준을 쉽게 지원할 수 있으므로 개발자가 재료 표준을 보다 광범위하게 사용할 수 있다.

옴니버스에는 엔비디아 리서치에서 개발한 RTX 그래픽과 AI를 결합하는 신경 그래픽 기능도 포함된다. 예를 들어 동물 모델러(Animal Modelers)를 사용하면 아티스트가 포인트 클라우드로 동물의 형태를 반복한 후 자동으로 3D 메시를 생성할 수 있다. 또 엔비디아 고갱(GauGAN)의 차세대 버전인 고갱(GauGAN) 360은 옴니버스 장면에 쉽게 로드할 수 있는 8K, 360도 파노라마를 생성한다. 인스턴트 NeRF는 2D 이미지에서 3D 객체와 장면을 만든다.

머신 러닝 프레임워크인 엔비디아 모듈러스용 옴니버스 확장(Omniverse Extension)을 통해 개발자는 AI를 사용해 실제 물리 시뮬레이션 속도를 최대 10만 배까지 높일 수 있으므로 메타버스는 실제 세계처럼 보이고 느껴진다.

옴니버스 딥서치(Omniverse DeepSearch)는 AI를 활용해 팀이 태그가 지정되지 않은 자산의 방대한 데이터베이스를 직관적으로 검색할 수 있도록 지원해 메타데이터에 구체적으로 나열되지 않은 경우에도 용어에 대한 정확한 결과를 제공한다.

◆신흥 메타버스의 핵심 축 ‘뉴럴 그래픽’ = 신흥 메타버스에서 핵심적인 축의 하나는 뉴럴 그래픽(Neural graphics)이다. 엔비디아 AI의 부사장인 산자 피들러(Sanja Fidler)는 “뉴럴 그래픽은 AI와 그래픽을 결합해 데이터로부터 학습할 수 있는 미래 그래픽 파이프라인의 길을 열어준다. 뉴럴 그래픽은 사용자가 가상 세계를 만들고 시뮬레이션하고 경험하는 방법을 재정의할 것"이라고 말했다.

AI는 아티스트가 메타버스를 만드는 데 필요한 방대한 양의 3D 콘텐츠를 생성하는 데 도움이 될 것이다. 예를 들어, 뉴럴 그래픽을 사용해 물리적 세계의 사물과 행동을 빠르게 포착할 수 있다.

피들러는 2D 이미지에서 3D 객체 또는 장면을 생성하는 도구인 인스턴트 NeRF를 수행하는 엔비디아 소프트웨어를 설명했다. 이 새로운 소프트웨어 개발 키트를 통해 디자이너와 연구원은 뉴럴 그래픽 및 기타 기술을 적용해 자신만의 작품을 만들 수 있다. 그 중 하나인 카올린 위스프(Kaolin Wisp)는 몇 줄의 코드로 3D 장면 또는 물체를 나타내는 AI 모델 신경 분야를 생성하는 도구 모음이다.

엔비디아는 이밖에 뉴럴(Neural)VDB를 발표했다. 이는 시각 효과에서 과학 컴퓨팅에 이르기까지 물, 화재, 연기 및 클라우드를 시뮬레이션하고 렌더링하는 오픈 소스 표준 오픈VDB의 차세대 진화이다. 뉴럴VDB는 신경 모델과 GPU 최적화를 사용해 메모리 요구 사항을 크게 줄인다. 사용자는 이를 통해 매우 크고 복잡한 데이터 세트와 실시간으로 상호 작용하고 더 효율적으로 공유할 수 있다.

젠슨 황 CEO는 "우리 시대의 가장 강력한 기술력인 AI는 컴퓨터 그래픽을 포함한 컴퓨터 과학의 모든 분야에 혁명을 일으킬 것이며, 엔비디아 RTX는 뉴럴 그래픽의 엔진이다"라고 말했다.


댓글삭제
삭제한 댓글은 다시 복구할 수 없습니다.
그래도 삭제하시겠습니까?
댓글 0
댓글쓰기
계정을 선택하시면 로그인·계정인증을 통해
댓글을 남기실 수 있습니다.