NVIDIA Research が SIGGRAPH でシミュレーションと生成 AI の進歩を発表

by Aaron Lefohn · July 19, 2024

hdr-siggraph-2024-ai-graphics-research-720x340

デンバーにて、シミュレーション研究がどのように AI モデルを改善しているか、また AI モデルがどのようにシミュレーションテクノロジを改善しているかについて NVIDIA の研究者が発表します

NVIDIA は、レンダリング、シミュレーション、生成 AI におけるさまざまな進歩を、7 月 28 日から 8 月 1 日までデンバーで開催されるコンピューターグラフィックスの主要なカンファレンスである SIGGRAPH 2024 において発表します。

NVIDIA Research の 20 を超える論文では、次世代モデルのトレーニングに役立つ合成データ生成と逆レンダリングツールを進化させるイノベーションが紹介されています。NVIDIA の AI 研究は、画像品質を向上させ、現実世界または想像上の世界の 3D 表現を作成する新しい方法を実現することで、シミュレーションを向上させています。

これらの論文は、視覚生成 AI、物理ベースのシミュレーション、ますますリアルになる AI 駆動レンダリングのための拡散モデルに焦点を当てています。これらには、2 つの Best Paper Award 受賞論文と、米国、カナダ、中国、イスラエル、日本の大学、および Adobe や Roblox などの企業の研究者とのコラボレーションが含まれています。

これらの取り組みは、開発者や企業が複雑な仮想オブジェクト、キャラクター、環境を生成するために使用できるツールの作成に役立ちます。その後、合成データ生成を利用して、強力な視覚的ストーリーを伝えたり、科学者の自然現象の理解を助けたり、ロボットや自律走行車のシミュレーションベースのトレーニングを支援したりすることが可能になります。

拡散モデルによりテクスチャペイントやテキストから画像への生成が改善

拡散モデルは、テキストプロンプトを画像に変換するための一般的なツールであり、アーティスト、デザイナー、その他のクリエイターがストーリーボードや制作用のビジュアルを迅速に生成し、アイデアを実現するまでの時間を短縮するのに役立ちます。

NVIDIA が執筆した 2 つの論文は、これらの生成 AI モデルの機能を進化させています。

NVIDIA と Tel Aviv 大学の研究者が共同で開発した ConsiStory は、一貫したメインキャラクターを持つ複数の画像を簡単に生成可能にします。これは、漫画のイラストやストーリーボードの作成など、ストーリーテリングのユースケースに不可欠な機能で、研究者のアプローチでは、Subject-Driven Shared Attention と呼ばれる手法が導入され、一貫した画像を生成するのにかかる時間が 13 分から約 30 秒に短縮されます。

ConsiStoryは、同じキャラクターが登場する一連の画像を生成することができます。

NVIDIA の研究者は昨年、テキストや画像のプロンプトをカスタムテクスチャマテリアルに変換する AI モデルで SIGGRAPH の Real-Time Live イベントの Best in Show を受賞しました。今年は、2D 生成拡散モデルを 3D メッシュのインタラクティブテクスチャペイントに適用した論文を発表します。これにより、アーティストは任意の参照画像に基づいて複雑なテクスチャをリアルタイムでペイントできるようになります。

物理ベースのシミュレーションの開発を促進

グラフィックス研究者は、物理ベースのシミュレーション (デジタルのオブジェクトやキャラクターを現実世界と同じように動かすさまざまな手法) によって、物理オブジェクトと仮想表現のギャップを縮めています。

NVIDIA Research の論文には、この分野における画期的な成果がいくつか掲載されています。その 1 つが SuperPADL で、テキストプロンプトに基づいて複雑な人間の動作をシミュレートするという課題に取り組むプロジェクトです。(上のビデオを参照)。

研究者は、強化学習と教師あり学習を組み合わせて、SuperPADL フレームワークをトレーニングして 5,000 以上のスキルの動作を再現する方法を実証しました。また、このフレームワークは、コンシューマーグレードの NVIDIA GPU でリアルタイムに実行できます。

別の NVIDIA の論文では、AI を適用して、オブジェクト (3D メッシュ、NeRF、またはテキストから 3D モデルに生成されたソリッドオブジェクトとして表現されるオブジェクト) が環境内で移動したときにどのように動作するかを学習するニューラルフィジックスメソッドが紹介されています。

カーネギーメロン大学の研究者と共同で執筆された論文では、新しい種類のレンダラーが開発されています。これは、物理的な光をモデル化する代わりに、熱分析、静電気学、流体力学を実行可能にするものです。SIGGRAPH で 5 つの Best Paper の 1 つに選ばれたこの方法は、並列化が容易で、面倒なモデルのクリーンアップが不要なため、エンジニアリング設計サイクルを高速化する新しい機会を提供します。

上の例では、レンダラーが火星探査機キュリオシティの熱解析を実行しています。この場合、温度を特定の範囲内に保つことがミッションの成功に不可欠です。

別のシミュレーション論文では、髪の毛のモデル化のより効率的な手法と、10 倍に流体シミュレーションを高速化するパイプラインが紹介されています。

レンダリングのリアリズム、回折シミュレーションの水準を引き上げる

NVIDIA が執筆した別の一連の論文では、可視光を最大 25 倍高速にモデル化し、自動運転車のトレーニング用のレーダーシミュレーションで使用されるような回折効果を最大 1,000 倍高速にシミュレートする新しい手法が紹介されています。

NVIDIA と Waterloo 大学の研究者による論文では、自由空間回折、つまり光が物体の端で広がったり曲がったりする光学現象に取り組んでいます。チームの手法は、パストレーシングワークフローと統合して複雑なシーンでの回折シミュレーションの効率を高め、最大 1,000 倍の高速化を実現します。可視光のレンダリングだけでなく、このモデルはより長い波長のレーダー、音、電波のシミュレーションにも使用できます。

都市における携帯電話の信号受信範囲のシミュレーション

パストレーシングは、多数のパス (シーンの中で複数回跳ね返る光線) をサンプリングして、フォトリアリスティックな画像を作成します。2 つの SIGGRAPH 論文では、ReSTIR のサンプリング品質が向上しています。ReSTIR は、NVIDIA とダートマス大学の研究者が SIGGRAPH 2020 で初めて導入したパストレーシングアルゴリズムで、ゲームやその他のリアルタイムレンダリング製品にパストレーシングを導入する鍵となっています。

これらの論文の 1 つでは、ユタ大学との共同研究で、計算されたパスを再利用する新しい方法が共有されています。これにより、有効なサンプル数が最大 25 倍に増加し、画像品質が大幅に向上します。もう 1 つは、光源のパスのサブセットをランダムに変更することでサンプルの品質を向上させます。これにより、ノイズ除去アルゴリズムのパフォーマンスが向上し、最終レンダリングで視覚的なアーティファクトが少なくなります。

左から右へ: 以前のサンプリングの視覚品質、25 倍の改善、および参照画像を比較します。モデルは Blender Studio 提供。

AI に 3D で考えることを教える

NVIDIA の研究者は、SIGGRAPH で 3D 表現とデザインのための多目的 AI ツールも展示しています。

1 つの論文では、現実世界のスケールに一致する 3D ディープラーニング用の GPU 最適化フレームワークである fVDB が紹介されています。fVDB フレームワークは、都市規模の 3D モデルと NeRF の大規模な空間スケールと高解像度、および大規模なポイントクラウドのセグメンテーションと再構築のための AI インフラを提供します。

ダートマス大学の研究者と共同で執筆した Best Paper Award 受賞論文では、3D オブジェクトが光とどのように相互作用するかに関する理論が紹介されています。この理論は、さまざまなスペクトルの外観を 1 つのモデルに統合します。

また、東京大学、トロント大学、Adobe Research との共同研究により、リアルタイムで、3D メッシュ上に滑らかで空間を埋め尽くす曲線を生成するアルゴリズムが紹介されています。以前の方法では数時間かかっていましたが、このフレームワークは数秒で実行され、ユーザーは出力を高度に制御してインタラクティブなデザインを実現できます。