シミュレーションのアイデアを実際に動作するアプリケーションにするには、アセットを組み立て、物理演算とレンダリングを連携させ、シーンが意図したとおりに動作することを確認する必要があります。開発者は、フロンティア AI モデルと NVIDIA Omniverse ライブラリを組み合わせて、そうした作業の実行を支援しながら、シナリオの探索、障害の調査、設計の改善のためのアプリケーションを構築しています。
開発者は、自然言語による指示を通じて AI エージェントに指示を与え、結果を確認し、変更をガイドします。Omniverse ライブラリは、GPU アクセラレーションによる物理演算、レンダリング、センサー シミュレーション機能を提供します。
以下のプロジェクトは、GPT-6 Astra などのフロンティア AI モデルの活用事例です。また、NVIDIA のチームやエコシステム全体の開発者による最新の事例を随時チェックしてください。
倉庫環境向けヒューマノイド シミュレーターを構築 
一人称視点と三人称視点によるヒューマノイド ロボットの物理演算ベースのゲーム化された操作を体験してください。
倉庫業務を自動化する前に、タスクの動作を検証し、作業の遂行方法を評価するために、インタラクティブ シミュレーション環境が必要です。NVIDIA の Omniverse プロダクト マネージャーであるフランク デリース (Frank DeLise) は、Astra を使用して SimReady の倉庫とヒューマノイド ロボットから、一人称視点と三人称視点によるインタラクティブ なシミュレーターを開発しました。
デリースは、Astra に物理演算 (ovphysx)、シーン更新 (ovstage)、レンダリング (ovrtx)、およびユーザー インターフェイス (ovui) 用の NVIDIA Omniverse ライブラリを連携させました。また、Astra と SimReady (simready-foundation) を使用して、シミュレーション内に物理シーンを作成しました。その結果、Astra はアニメーションと、これらの機能を統合するアプリケーション コードを生成しました。
フロンティア AI モデルと NVIDIA Omniverse ライブラリを使用して、SimReady ロボット アセットを準備、検証する方法を学びましょう。
自動運転試験ワークフローを接続
シーン、センサー、または走行モデルを変更すると、自動運転車のシミュレーションに大きく影響する可能性があります。NVIDIA のシミュレーションテクノロジ チームのマネージャーであるドユブ キム (Doyub Kim) は、サンフランシスコのマーケット ストリートをベースにした再利用可能なシミュレーション環境「Zero to Alpamayo」の構築を Astra に依頼しました。
その際、Astra に対し、ワークフローを設計し、アセット作成、交通、Omniverse RTX センサー シミュレーションおよび Alpamayo による走行を段階的に連携させ、各段階での統合を確認するように指示しました。完成したプロトタイプは、モデルを比較し、シーンやセンサーの変更が下流の走行行動に与える影響を追跡するためのテスト環境となりました。Cosmos3-Nano を用いた別の実験では、録画したシミュレーション動画で天候や照明を変化させることで、異なる条件下での同じシナリオに対する運転モデルの反応を比較できるようにしました。
センサーの差異を用いてデジタル ツインを開発および改善
カメラおよびLiDAR出力の記録とシミュレーションを比較することで、主要パフォーマンス指標 (KPI) に基づくフィードバックが得られ、シーンの改良に役立ちます。
ロボットや自動運転車をテストするには、開発者はシミュレートされたセンサーが実際のセンサーとどの程度一致しているかを把握する必要があります。NVIDIA で RTX センサーの検証を担当するアシュリー リード (Ashley Reid) は、Astra と Claude Fable 5 エージェントに対し、ovrtx カメラおよび生 LiDAR 出力と記録されたデータの比較を指示しました。エージェントは、2 つのデジタル ツインをゼロから構築し、2 つの既存デジタル ツインを改善しました。
リードは、約 3 日間をかけて、エージェントが差異を測定し、OpenUSD シーンを作成または変更し、結果を確認する反復ワークフローをガイドしました。変更は、オブジェクト、ジオメトリ、およびマテリアルの欠落に対処するもので、カメラおよび LiDAR メトリクスに応じて採用しました。これにより、開発者は測定された差異を用いてシーンの作成や改善をガイドすることが可能になります。
まず、ovrtx の最小限の Python サンプルを使用して OpenUSD シーンをレンダリングした上で、記録されたデータと比較するセンサー測定を定義します。
Robo Olympics: ロボットのスキルをシミュレーションでテスト
ロボットに新しい動きを教えるということは、それらの動作が物理的制約の下で機能するかどうかを確認することを意味します。NVIDIA Omniverse のエンジニアリングおよびプロダクト責任者であるテイ キム (Tae Kim) は、スポーツ動画と自然言語による指示を用いて、スポーツ活動を実行する、シミュレーションされた Unitree G1 ヒューマノイドをテストする実験プロジェクトRobo Olympics の構築を Astra に指示しました。
Astra は、キムの指示に従ってコントローラーを構築し、物理実験を通して精度を高めました。Newton 物理エンジンにより動作をシミュレーションし、オープンソースの NVIDIA Warp フレームワークにより計算を高速化し、ovrtx によりシーンと仮想カメラ画像をレンダリングしました。ある実験では、ロボットは 100 回のシミュレーション試験のうち、64 回で単一の障害物をクリアしました。これらの試験から、ロボットのタイミングや制御を改善するためのフィードバックが得られました。
キムが Astra と NVIDIA Omniverse ライブラリを用いてシミュレーションの構築に取り組む様子をご覧ください。
CADとシミュレーションでロボットによる分解テスト
ロボットによって製品を分解するには、ロボットのツールが部品に届き、取り外すことが可能かどうかを事前に把握する必要があります。NVIDIA の OpenUSD 担当シニア プロダクト マネージャーであるイェンス イェーベンス (Jens Jebens) は、PTC Onshape で自動車のサスペンションをモデル化し、NVIDIA Isaac Sim で構成するように Astra に指示しました。
イェーベンスは Astra を用いて、シミュレーションに基づくロボットのコンピューター支援設計 (CAD)とツールの改良を検討しました。Astra は空いているスペースを測定し、ロボットが使用するレンチがサスペンションのボルトに届くように設計しました。イェーベンスによると、シミュレーション上でのサスペンション部品の取り外しは成功しました。これは、設計やツールに関する決定を分解結果に結びつけるものであり、ロボットのポリシー学習の出発点となります。
Onshape インポーター ガイドをご覧ください。
国際宇宙ステーションをブラウザ上で再現する
3D モデルをアプリケーションにするには、アセット、ライブ データ、およびインターフェイスを接続する必要があります。NVIDIA のエンジニアリング ディレクターであるニック ジョンズ (Nic Johns) は、NASA のアセットをテレメトリとともに OpenUSD 国際宇宙ステーション モデルに組み込むように Astra に指示しました。ジョンズは、シングル プロンプトでアプリケーションを構築した後、フォローアップ プロンプトでシーンを地球の昼側に切り替え、地球が見えるようにしました。
このワークフローでは、アセットの準備には Blender を使用し、レンダリング (ovrtx)、シーン実行時 (ovstage)、およびストリーミング (ovstream) には Omniverse ライブラリを使用しました。このアプリケーションは 3D モデルと運用データをブラウザ上で再現するもので、ジョンズがプロンプトや修正を通じて開発をガイドしました。
Omniverse Real-Time Viewer スキルをお試しください。
キャプチャした部屋をテスト環境に変換
開発者がインタラクションをテストするには、デジタルで再構築された部屋において、編集可能なオブジェクトと正確な物理的挙動を事前に用意する必要があります。NVIDIA の Isaac エンジニアリング アプリケーション チームに所属するチラグ マジティア (Chirag Majithia) は、ステレオ カメラで撮影された画像を編集可能な OpenUSD スタジオに変換するように Astra に指示しました。
このワークフローでは、PyCuSFM、FoundationStereo、nvblox を組み合わせて再構築を実行し、ユーザーが確認しながらオブジェクトの選択と配置をガイドしました。Astra は、生成されたアセットと Blender で作成されたアセットを組み立て、USD Content Agents を使用して、シミュレーションにおけるオブジェクトの動きと相互作用を構成しました。ドアおよび引き出しの衝突と接触の修正は、Isaac Sim による検証によってガイドしました。このスタジオは、取得したジオメトリを相互作用テストに結びつけることで、隙間やオブジェクトの挙動の検証を容易にします。
USD Content Agents についてご覧ください。
シミュレーションのアイデアをお持ちですか? AI エージェントを用いた開発を始めるのに役立つ NVIDIA Omniverse ライブラリをご覧ください。