新たにリリースされた NeuralVDB や Kaolin Wisp をはじめとする10種類以上のツールやプログラムにより、多くのデザイナーやクリエイターにとってすばやく簡単な 3D コンテンツ制作が実現
ゲームのシーン、メタバースなどの仮想世界、プロダクト デザイン、視覚効果を構築するための 3D オブジェクトの作成は、熟練したアーティストが締め切りや予算のプレッシャーのなかで、ディテールとフォトリアリズムのバランスを追求する、伝統的に繊細なプロセスです。
現実世界とそっくりの見た目と動きを再現するには時間がかかります。また、仮想世界のなかで複数のオブジェクトやキャラクターの相互作用が必要な場合、さらに難しくなります。物理特性のシミュレーションは、光のシミュレーションと同様に重要になります。たとえば、仮想工場内のロボットは、見た目はもちろん、可搬重量や制動能力も現実世界と同じである必要があります。
これは容易なことではありません。しかしこれは、プロダクト デザインだけでなく、輸送、ヘルスケア、通信、エンターテインメントなどのさまざまな 1 兆ドル規模の産業にも影響を与える大きな可能性があります。最終的には、現実世界よりも多くのコンテンツが仮想世界で制作されるようになるでしょう。
このプロセスを簡素化し、短期化するために、NVIDIA は本日、ニューラル グラフィックスの力を 3D オブジェクトや 3D 世界の構築やアニメーションに応用した最新研究と幅広いツールをリリースしました。
業界標準である OpenVDB の画期的なアップデートである NeuralVDB や、ニューラル分野の研究のフレームワークを確立する Pytorch ベースのライブラリである Kaolin Wisp など、これらの SDK は、創造的プロセスをデザイナーにとって容易にすると同時に、3D コンテンツ制作をデザインのプロでない多くのユーザーにとっても容易なものにします。
ニューラル グラフィックスは、AI とグラフィックスを組み合わせて、データから学習するアクセラレーテッド グラフィックス パイプラインを構築する新しい分野です。AI を統合することで結果の改善につながるほか、デザイン上の選択の自動化にも役立ち、アーティストやクリエイターの想像を超える新たな機会がもたらされます。ニューラル グラフィックスにより、仮想世界の構築、シミュレーション、およびユーザー エクスペリエンスのあり方は再定義されることになるでしょう。
これらの SDK および研究は、以下をはじめとするコンテンツ制作パイプラインの各段階に貢献します。
3D コンテンツ制作
- Kaolin Wisp – 新しいテクニックの検証、実装に必要な期間を数週間から数日に短縮することにより、3D ディープラーニング研究を迅速化する PyTorch ライブラリです。Kaolin の一部として提供されます。Kaolin Wisp は、ニューラル フィールドに関する新研究を加速させる共通のツール スイートとフレームワークを確立する研究のためのライブラリです。
- Instant Neural Graphics Primitives – 現実オブジェクトの形状のキャプチャに対する新たなアプローチであり、静止画像群をデジタル 3D シーンに変換するインバース レンダリング モデルである NVIDIA Instant NeRF の発想源となっています。このテクニックと関連 GitHub コードは、そのプロセスを最大 1,000 倍高速化します。
- 3D MoMa – 2D オブジェクトをグラフィックス エンジンにすばやくインポートして、リアルな素材、照明、物理特性で変更できる 3D オブジェクトを作成することを可能にする新しいインバース レンダリング パイプライン。
- GauGAN360 – ラフ スケッチをフォトリアルな作品に変える AI モデルである NVIDIA GauGAN の新たな進化形。GauGAN360 は、Omniverse シーンに移植可能な 8K、360 度パノラマを生成します。
- Omniverse Avatar Cloud Engine (ACE) – デジタル ヒューマン アプリケーションの開発、カスタマイズ、展開のための最新のクラウド API、マイクロサービス、およびツール群。ACE は NVIDIA の Unified Compute Framework で構築されているため、アバター向けのアプリケーションに主要な NVIDIA AI テクノロジをシームレスに統合できます。
物理特性およびアニメーション
- NeuralVDB – ボリューム データ ストレージの業界標準である OpenVDB の画期的な改良版。NeuralVDB は、機械学習を利用してコンパクトなニューラル表現を導入し、メモリー フットプリントを大幅に削減して 3D データの高解像度化を実現します。
- Omniverse Audio2Face – 1 つの音源から表情豊かな顔アニメーションを生成する AI テクノロジ。インタラクティブなリアルタイム アプリケーションに役立つほか、従来のフェイシャル アニメーション向けの作成ツールとしても便利です。
- ASE: Animation Skills Embedding – 物理的にシミュレートしたキャラクターがなじみのない状況に敏感に反応しながら生き生きと振る舞うことを可能にするアプローチ。ディープラーニングを利用して、新しいタスクやアクションへの反応方法をキャラクターに教えます。
- TAO Toolkit – 正確で高性能な姿勢推定モデルの構築を可能にするフレームワーク。コンピューター ビジョンを使用して、シーンのなかの人の行動を現在の手法よりもはるかにすばやく検証できます。
エクスペリエンス
- Image Features Eye Tracking – ピクセル レンダリングの品質をユーザーの反応時間と結び付ける研究モデル。遅延を最小化するレンダリング品質、表示特性、および観察条件の最善の組み合わせを予測することにより、対戦型ゲームなど、ハイペースのインタラクティブ コンピューター グラフィックス アプリケーションのパフォーマンスを改善します。
- Holographic Glasses for Virtual Reality – 厚さ 2.5 mm の画期的な光学スタックにフルカラー 3D ホログラフィック映像を表示する最新の VR グラス デザインに関するスタンフォード大学とのコラボレーション。
ぜひ、SIGGRAPH 2022 におけるNVIDIAのイベントサイトをご覧ください。グラフィックス、AI、そして仮想世界の分野における最新研究やテクノロジ ブレークスルーをご覧いただけます。また、NVIDIA Researchの最新イノベーションをチェックし、NVIDIA の各種 SDK、ツール、ライブラリをお試しください。