NVIDIA、AI、メタバース、デジタルヒューマンで産業を変革する新製品・研究成果を発表

SIGGRAPH での目を見張るような特別講演において、NVIDIA のシニアのリーダーたちは、グラフィックスの次の時代を推進する力と、それらを加速するための NVIDIA の幅広いツールについて説明しました。

「AI とコンピューター グラフィックスの組み合わせは、インターネットの次の進化であるメタバースを強化します」と、NVIDIA の創業者/CEO であるジェンスン フアン (Jensen Huang) は 45 分間の講演の冒頭で述べました。

それは、接続された仮想世界やデジタル ツインのホームとなり、遊びだけでなく実際の仕事の場所にもなります。さらにフアンは、ロボットの最も人気のある形式の 1 つとなる、デジタル ヒューマン アバターにより、活気に満ちるだろうと述べました。

45 のデモとプレゼンテーションで、5 人の NVIDIA の講演者が以下を発表しました。

• アバターを作成するための新しいプラットフォームである NVIDIA Omniverse Avatar Cloud Engine (ACE)。
• メタバースの言語である Universal Scene Description (USD) の構築を計画。
• 仮想世界とデジタル ツインを作成するためのコンピューティング プラットフォームである NVIDIA Omniverse の主要な拡張機能。
• 機械学習でグラフィックス ワークフローを強化するツール。

「本日行った発表は、新しいプログラミング モデル、新しいアーキテクチャ、新しい標準により、新しいコンピューティング プラットフォームであるメタバースをさらに前進させます」と彼は語りました。

メタバース アプリケーションはすでにここに存在します。

フアンは、「拡張現実で試すことができるバーチャル 3D 製品、無線ネットワークのデジタル ツインを作成して無線タワーを最適化および展開する通信会社、および倉庫と工場のデジタル ツインを作成してレイアウトとロジスティクスを最適化する企業」を挙げました。

アバターを構築

メタバースは、バーチャル アシスタントで活気づき、他人と話すのと同じくらい自然に対話するアバターが登場するでしょう。彼らはデジタル工場で働き、オンライン ゲームでプレイし、オンライン ショッピングでカスタマー サービスを提供するようになるでしょう。

フアンは「何十億ものアバターが登場するでしょう」と語り、Omniverse で設計、トレーニング、操作されるアバターを「最も広く使用されるロボットの 1 つ」と呼びました。

デジタル ヒューマンとアバターには、自然言語処理、コンピューター ビジョン、複雑な顔と体のアニメーションなどが必要です。リアルに動き、話すには、この一連の複雑なテクノロジをミリ秒単位で同期させる必要があります。

NVIDIA が Omniverse Avatar Cloud Engine を使用して簡素化と高速化を目指すのは大変な作業です。ACE は、対話型 AI から Audio2Face や Audio2Emotion などのアニメーション ツールに至るまで、NVIDIA の研究に基づいて構築された AI モデルとサービスの集合体です。

「Omniverse ACE を使用すると、開発者は、パブリック クラウドまたはプライベート クラウドの任意のエンジンでアバター アプリケーションを構築、構成、および展開できます」と、NVIDIA のグラフィックスおよび AI のディレクターであるサイモン ユエン (Simon Yuen) は述べています。「私たちは、すべてのプラットフォームでインタラクティブなアバターを構築することを民主化したいと考えています」

ACE は来年初めに利用可能になり、組み込みシステムとすべての主要なクラウド サービス上で動作するようになる予定です。

ユエンは、音声から直接フェイシャル アニメーションを作成できるAIモデルである Omniverse Audio2Face の最新バージョンのデモンストレーションも行いました。

「私たちは、感情を分析して自動的にアバターに転送する機能を追加しました」と彼は述べました。

Audio2Face の将来のバージョンでは、1 枚の写真からアバターを作成し、テクスチャを自動的に適用して、アニメーション対応の 3D メッシュを生成するようになるでしょう。これらは、AI がビデオを見て学習した筋肉の動きの忠実に再現し、髪は期待どおりにリアルに反応する予定です。

3D インターネットの基盤となる USD

メタバースの多くのスーパーパワーは、3D インターネットの基盤である USD に基づいています。

NVIDIA の Omniverse およびシミュレーション テクノロジのバイス プレジデントであるレブ レバレディアン (Rev Lebaredian) は次のように述べています。「メタバースは、3D の世界の中のすべてのものを記述する標準的な方法を必要としています」

「Pixar によって発明されオープン ソース化された Universal Scene Description は、インターネットの次の時代の標準的なシーン記述であると信じています」と彼は付け加え、USD と 2D Web の HTML を比較しました。

レバレディアンは、USD に対する NVIDIA のビジョンを、現実の世界よりもさらに多くの機会を開くための鍵であると説明します。

「私たちの次のマイルストーンは、リアルタイムの大規模な仮想世界と産業用デジタル ツインに対して USD のパフォーマンスを向上させることを目的としています」と彼は述べ、国際的な文字セット、地理座標、IoT データのリアル タイム ストリーミングの USD でのサポートの構築を支援する NVIDIA の計画に言及しました。

NVIDIA が計画している USD への投資の例

USD の採用をさらに加速するために、NVIDIA は USD の互換性テストおよび認証スイートをリリースします。これらにより、開発者はカスタムの USD コンポーネントが期待される結果を生成するかを確認することができます。

さらに、NVIDIA は、産業用デジタル ツインおよび AI トレーニング ワークフローで使用するために設計された、シミュレーション対応の USD アセットの一式を発表しました。これらは、USD 対応のシーン、オンデマンド チュートリアル、ドキュメント、インストラクター付きコースなど、オンラインで無料で利用できる豊富な USD リソースに加わります。

「私たちは、誰もが USD の構築と発展を支援してくれることを望みます」とレバレディアンは述べました。

Omniverse がパレットを拡張

特別講演における最大の発表の 1 つは、184,000 回ダウンロードされたプラットフォームである NVIDIA Omniverse の新しいメジャー リリースでした。

フアンは、Omniverse を「USD プラットフォーム、メタバース アプリケーションを構築するためのツールキット、および仮想世界を実行するためのコンピューティング エンジン」と呼びました。

最新バージョンでは、いくつかのコア テクノロジがアップグレードされ、より多くの人気のツールと接続できるようになっています。

Omniverse Connector と呼ばれるリンクは、Unity、Blender、Autodesk Alias、Siemens JT、SimScale、Open Geospatial Consortium 向けのものが開発中です。PTC Creo、Visual Components、SideFX Houdini 向けの Connector のベータ版が利用できるようになりました。これらの新機能は、現在 Omniverse ネットワークの一部である Siemens Xcelerator に加わり、より多くの産業顧客をデジタル ツインの時代に迎え入れます。

「インターネット自体と同様、Omniverse は『ネットワークのネットワークであり』、業界や分野を超えてユーザーを接続します」 と NVIDIA のプロフェッショナル グラフィックス担当 バイス プレジデントであるスティーブ パーカー (Steve Parker) は述べています。

NVIDIA Omniverseの新機能の例。

AWS や Adobe から Dell、Epic、Microsoft に至るまで、ハードウェア、ソフトウェア、クラウドサービスのベンダーを含む、約 12 のパートナーが SIGGRAPH で Omniverse の機能を紹介します。6 社のパートナーが、AI や仮想世界などのトピックについて NVIDIA を活用したセッションを実施予定です。

物理演算の高速化、動物のアニメーション化

パーカーは、Omniverse のいくつかのテクノロジのアップグレードについて詳しく説明しました。これらは、Material Definition Language (MDL) を使用した物理的に正確なマテリアルのシミュレート、PhysX を使用したリアルタイムの物理演算、およびハイブリッド レンダリングと AI システムである RTX の強化に及んでいます。

「これらのコア テクノロジの柱は、エッジからクラウドまでの NVIDIA のハイ パフォーマンス コンピューティングによって強化されています」とパーカーは述べています。

たとえば、PhysX はソフトボディとパーティクルクロスのシミュレーションをサポートするようになり、仮想世界により優れた物理的正確さをリアルタイムでもたらします。また、NVIDIA は MDL を完全にオープン ソース化し、OpenGL や Vulkan などのグラフィックス API 標準を容易にサポートでき、開発者はマテリアル標準をより広く利用可能になります。

また、Omniverse には、以下のような RTX グラフィックスと AI を組み合わせた NVIDIA Research によって開発されたニューラル グラフィックス機能が搭載される予定です。

• Animal Modelers を使用すると、アーティストは点群を使用して動物の形状を反復処理し、3D メッシュを自動的に生成。
• NVIDIA GauGAN の次の進化形である GauGAN360 は、8K、360 度のパノラマを生成し、Omniverse シーンに簡単に読み込み可能。
• Instant NeRF は、2D 画像から 3D オブジェクトやシーンを作成。

機械学習フレームワークである NVIDIA Modulus の Omniverse Extension により、開発者は AI を使用して実世界の物理学のシミュレーションを最大 10 万倍高速化できるため、メタバースは物理世界と同じようになるでしょう。

さらに、SIGGRAPH で活発なコンテストの対象となっている Omniverse Machinima は、『Post Scriptum』、『Beyond the Wire』、『Shadow Warrior 3』からのコンテンツに加えて、Audio2Gesture などの新しい AI アニメーション ツールを備えています。

Industrial Light & Magic のデモでは、別の新機能が紹介されました。Omniverse DeepSearch は AI を使用して、チームがタグ付けされていないアセットの大規模なデータベースを直感的に検索できるようにし、メタデータに特に記載されていない用語でも、正確に検索結果を表示します。

グラフィックスがスマートになる

新たなメタバースの重要な柱の 1 つは、ニューラル グラフィックスです。これは、ニューラル ネットワーク モデルを利用してコンピューター グラフィックスを加速および強化するハイブリッド分野です。

「ニューラル グラフィックスは AI とグラフィックスを絡め、データからの学習に適した将来のグラフィックス パイプラインへの道を開きます」と NVIDIA の AI 担当バイス プレジデントであるサンジャ フィドラー (Sanja Fidler) は述べています。「ニューラル グラフィックスは、ユーザーが仮想世界を作成、シミュレーション、および体験する方法を再定義するでしょう」と彼女は付け加えました。

AI は、アーティストがメタバースの作成に必要な大量の 3D コンテンツを生成するのに役立ちます。たとえば、ニューラル グラフィックスを使用して、物理世界のオブジェクトや動作をすばやくキャプチャできます。

フィドラーは、まさにそれを行う NVIDIA のソフトウェア、Instant NeRFについて説明しました。これは、2D 画像から 3D オブジェクトまたはシーンを作成するツールであり、SIGGRAPH で NVIDIA が受賞した 2 つの最優秀論文賞の 1 つのテーマです。

もうひとつ最優秀論文賞では、ニューラル グラフィックスが e スポーツや AR/VR アプリケーションの反応レイテンシを予測して削減できるモデルを強化しています。2 つの最優秀論文は、NVIDIA の研究者が今週 SIGGRAPH で発表している合計 16 の論文の一部です。

ニューラル グラフィックスは AI をグラフィックス パイプラインに融合。

デザイナーや研究者は、本イベントで発表された NVIDIA の新しいソフトウェア開発キットを使用して、ニューラル グラフィックスやその他の手法を適用して、受賞につながる独自の作品を作成できます。

フィドラーは、そのうちの 1 つである Kaolin Wisp について説明しました。これは、わずか数行のコードでニューラル フィールド (3D シーンまたはオブジェクトを表す AI モデル) を作成するための一連のツールです。

これとは別に、NVIDIA は NeuralVDB を発表しました。これは、視覚効果から科学計算まで、水、火、煙、雲のシミュレーションとレンダリングに使用される、オープンソース標準の OpenVDB の次の進化形です。

NeuralVDB は、ニューラル モデルと GPU 最適化を使用してメモリ要件を大幅に削減し、ユーザーが非常に大規模で複雑なデータセットをリアルタイムで操作して、より効率的に共有できるようにします。

「現代の最も強力な技術力である AI は、コンピューター グラフィックスを含むコンピューター サイエンスのあらゆる分野に革命をもたらします。NVIDIA RTX はニューラル グラフィックスのエンジンです」とフアンは述べています。

SIGGRAPHイベント サイトでは、NVIDIAの特別講演の全容をご覧いただけます。 また、ラボ、プレゼンテーションの詳細や、最新のGTCの基調講演がどのように作られたかの舞台裏のドキュメンタリーも公開されています。