SIGGRAPH において、NVIDIA CEO のジェンスンフアンがグラフィックス革命を引き起こす3つの力を紹介

by Rick Merritt · August 10, 2022

NVIDIA、AI、メタバース、デジタルヒューマンで産業を変革する新製品・研究成果を発表

SIGGRAPH での目を見張るような特別講演において、NVIDIA のシニアのリーダーたちは、グラフィックスの次の時代を推進する力と、それらを加速するための NVIDIA の幅広いツールについて説明しました。

「AI とコンピューターグラフィックスの組み合わせは、インターネットの次の進化であるメタバースを強化します」と、NVIDIA の創業者/CEO であるジェンスンフアン (Jensen Huang) は 45 分間の講演の冒頭で述べました。

それは、接続された仮想世界やデジタルツインのホームとなり、遊びだけでなく実際の仕事の場所にもなります。さらにフアンは、ロボットの最も人気のある形式の 1 つとなる、デジタルヒューマンアバターにより、活気に満ちるだろうと述べました。

45 のデモとプレゼンテーションで、5 人の NVIDIA の講演者が以下を発表しました。

アバターを作成するための新しいプラットフォームである NVIDIA Omniverse Avatar Cloud Engine (ACE)。
メタバースの言語である Universal Scene Description (USD) の構築を計画。
仮想世界とデジタルツインを作成するためのコンピューティングプラットフォームである NVIDIA Omniverse の主要な拡張機能。
機械学習でグラフィックスワークフローを強化するツール。

「本日行った発表は、新しいプログラミングモデル、新しいアーキテクチャ、新しい標準により、新しいコンピューティングプラットフォームであるメタバースをさらに前進させます」と彼は語りました。

メタバースアプリケーションはすでにここに存在します。

フアンは、「拡張現実で試すことができるバーチャル 3D 製品、無線ネットワークのデジタルツインを作成して無線タワーを最適化および展開する通信会社、および倉庫と工場のデジタルツインを作成してレイアウトとロジスティクスを最適化する企業」を挙げました。

アバターを構築

メタバースは、バーチャルアシスタントで活気づき、他人と話すのと同じくらい自然に対話するアバターが登場するでしょう。彼らはデジタル工場で働き、オンラインゲームでプレイし、オンラインショッピングでカスタマーサービスを提供するようになるでしょう。

フアンは「何十億ものアバターが登場するでしょう」と語り、Omniverse で設計、トレーニング、操作されるアバターを「最も広く使用されるロボットの 1 つ」と呼びました。

デジタルヒューマンとアバターには、自然言語処理、コンピュータービジョン、複雑な顔と体のアニメーションなどが必要です。リアルに動き、話すには、この一連の複雑なテクノロジをミリ秒単位で同期させる必要があります。

NVIDIA が Omniverse Avatar Cloud Engine を使用して簡素化と高速化を目指すのは大変な作業です。ACE は、対話型 AI から Audio2Face や Audio2Emotion などのアニメーションツールに至るまで、NVIDIA の研究に基づいて構築された AI モデルとサービスの集合体です。

「Omniverse ACE を使用すると、開発者は、パブリッククラウドまたはプライベートクラウドの任意のエンジンでアバターアプリケーションを構築、構成、および展開できます」と、NVIDIA のグラフィックスおよび AI のディレクターであるサイモンユエン (Simon Yuen) は述べています。「私たちは、すべてのプラットフォームでインタラクティブなアバターを構築することを民主化したいと考えています」

ACE は来年初めに利用可能になり、組み込みシステムとすべての主要なクラウドサービス上で動作するようになる予定です。

ユエンは、音声から直接フェイシャルアニメーションを作成できるAIモデルである Omniverse Audio2Face の最新バージョンのデモンストレーションも行いました。

「私たちは、感情を分析して自動的にアバターに転送する機能を追加しました」と彼は述べました。

Audio2Face の将来のバージョンでは、1 枚の写真からアバターを作成し、テクスチャを自動的に適用して、アニメーション対応の 3D メッシュを生成するようになるでしょう。これらは、AI がビデオを見て学習した筋肉の動きの忠実に再現し、髪は期待どおりにリアルに反応する予定です。

3D インターネットの基盤となる USD

メタバースの多くのスーパーパワーは、3D インターネットの基盤である USD に基づいています。

NVIDIA の Omniverse およびシミュレーションテクノロジのバイスプレジデントであるレブレバレディアン (Rev Lebaredian) は次のように述べています。「メタバースは、3D の世界の中のすべてのものを記述する標準的な方法を必要としています」

「Pixar によって発明されオープンソース化された Universal Scene Description は、インターネットの次の時代の標準的なシーン記述であると信じています」と彼は付け加え、USD と 2D Web の HTML を比較しました。

レバレディアンは、USD に対する NVIDIA のビジョンを、現実の世界よりもさらに多くの機会を開くための鍵であると説明します。

「私たちの次のマイルストーンは、リアルタイムの大規模な仮想世界と産業用デジタルツインに対して USD のパフォーマンスを向上させることを目的としています」と彼は述べ、国際的な文字セット、地理座標、IoT データのリアルタイムストリーミングの USD でのサポートの構築を支援する NVIDIA の計画に言及しました。

NVIDIA が計画している USD への投資の例

USD の採用をさらに加速するために、NVIDIA は USD の互換性テストおよび認証スイートをリリースします。これらにより、開発者はカスタムの USD コンポーネントが期待される結果を生成するかを確認することができます。

さらに、NVIDIA は、産業用デジタルツインおよび AI トレーニングワークフローで使用するために設計された、シミュレーション対応の USD アセットの一式を発表しました。これらは、USD 対応のシーン、オンデマンドチュートリアル、ドキュメント、インストラクター付きコースなど、オンラインで無料で利用できる豊富な USD リソースに加わります。

「私たちは、誰もが USD の構築と発展を支援してくれることを望みます」とレバレディアンは述べました。

Omniverse がパレットを拡張

特別講演における最大の発表の 1 つは、184,000 回ダウンロードされたプラットフォームである NVIDIA Omniverse の新しいメジャーリリースでした。

フアンは、Omniverse を「USD プラットフォーム、メタバースアプリケーションを構築するためのツールキット、および仮想世界を実行するためのコンピューティングエンジン」と呼びました。

最新バージョンでは、いくつかのコアテクノロジがアップグレードされ、より多くの人気のツールと接続できるようになっています。

Omniverse Connector と呼ばれるリンクは、Unity、Blender、Autodesk Alias、Siemens JT、SimScale、Open Geospatial Consortium 向けのものが開発中です。PTC Creo、Visual Components、SideFX Houdini 向けの Connector のベータ版が利用できるようになりました。これらの新機能は、現在 Omniverse ネットワークの一部である Siemens Xcelerator に加わり、より多くの産業顧客をデジタルツインの時代に迎え入れます。

「インターネット自体と同様、Omniverse は『ネットワークのネットワークであり』、業界や分野を超えてユーザーを接続します」と NVIDIA のプロフェッショナルグラフィックス担当バイスプレジデントであるスティーブパーカー (Steve Parker) は述べています。

NVIDIA Omniverseの新機能の例。

AWS や Adobe から Dell、Epic、Microsoft に至るまで、ハードウェア、ソフトウェア、クラウドサービスのベンダーを含む、約 12 のパートナーが SIGGRAPH で Omniverse の機能を紹介します。6 社のパートナーが、AI や仮想世界などのトピックについて NVIDIA を活用したセッションを実施予定です。

物理演算の高速化、動物のアニメーション化

パーカーは、Omniverse のいくつかのテクノロジのアップグレードについて詳しく説明しました。これらは、Material Definition Language (MDL) を使用した物理的に正確なマテリアルのシミュレート、PhysX を使用したリアルタイムの物理演算、およびハイブリッドレンダリングと AI システムである RTX の強化に及んでいます。

「これらのコアテクノロジの柱は、エッジからクラウドまでの NVIDIA のハイパフォーマンスコンピューティングによって強化されています」とパーカーは述べています。

たとえば、PhysX はソフトボディとパーティクルクロスのシミュレーションをサポートするようになり、仮想世界により優れた物理的正確さをリアルタイムでもたらします。また、NVIDIA は MDL を完全にオープンソース化し、OpenGL や Vulkan などのグラフィックス API 標準を容易にサポートでき、開発者はマテリアル標準をより広く利用可能になります。

また、Omniverse には、以下のような RTX グラフィックスと AI を組み合わせた NVIDIA Research によって開発されたニューラルグラフィックス機能が搭載される予定です。

Animal Modelers を使用すると、アーティストは点群を使用して動物の形状を反復処理し、3D メッシュを自動的に生成。
NVIDIA GauGAN の次の進化形である GauGAN360 は、8K、360 度のパノラマを生成し、Omniverse シーンに簡単に読み込み可能。
Instant NeRF は、2D 画像から 3D オブジェクトやシーンを作成。

機械学習フレームワークである NVIDIA Modulus の Omniverse Extension により、開発者は AI を使用して実世界の物理学のシミュレーションを最大 10 万倍高速化できるため、メタバースは物理世界と同じようになるでしょう。

さらに、SIGGRAPH で活発なコンテストの対象となっている Omniverse Machinima は、『Post Scriptum』、『Beyond the Wire』、『Shadow Warrior 3』からのコンテンツに加えて、Audio2Gesture などの新しい AI アニメーションツールを備えています。

Industrial Light & Magic のデモでは、別の新機能が紹介されました。Omniverse DeepSearch は AI を使用して、チームがタグ付けされていないアセットの大規模なデータベースを直感的に検索できるようにし、メタデータに特に記載されていない用語でも、正確に検索結果を表示します。

グラフィックスがスマートになる

新たなメタバースの重要な柱の 1 つは、ニューラルグラフィックスです。これは、ニューラルネットワークモデルを利用してコンピューターグラフィックスを加速および強化するハイブリッド分野です。

「ニューラルグラフィックスは AI とグラフィックスを絡め、データからの学習に適した将来のグラフィックスパイプラインへの道を開きます」と NVIDIA の AI 担当バイスプレジデントであるサンジャフィドラー (Sanja Fidler) は述べています。「ニューラルグラフィックスは、ユーザーが仮想世界を作成、シミュレーション、および体験する方法を再定義するでしょう」と彼女は付け加えました。

AI は、アーティストがメタバースの作成に必要な大量の 3D コンテンツを生成するのに役立ちます。たとえば、ニューラルグラフィックスを使用して、物理世界のオブジェクトや動作をすばやくキャプチャできます。

フィドラーは、まさにそれを行う NVIDIA のソフトウェア、Instant NeRFについて説明しました。これは、2D 画像から 3D オブジェクトまたはシーンを作成するツールであり、SIGGRAPH で NVIDIA が受賞した 2 つの最優秀論文賞の 1 つのテーマです。

もうひとつ最優秀論文賞では、ニューラルグラフィックスが e スポーツや AR/VR アプリケーションの反応レイテンシを予測して削減できるモデルを強化しています。2 つの最優秀論文は、NVIDIA の研究者が今週 SIGGRAPH で発表している合計 16 の論文の一部です。