DRIVE SimのNeural Reconstruction Engineによって、ビデオデータをシミュレーションに変換

自動運転車のシミュレーションには 2 つの課題があります。AI ドライバーがシミュレーションを現実のものとして認識できるように、十分なディテールとリアリズムを備えた世界を生成すること。そして、AI ドライバーを完璧にトレーニングしテストするために必要なすべてのシナリオをカバーするために、十分な規模のシミュレーションを構築することです。

これらの課題に対処するため、NVIDIA の研究者は、実際のデータから直接シミュレーションを作成する新しい AI ベースのツールを開発しました。NVIDIA の創業者/ CEO であるジェンスン フアン (Jensen Huang) は、GTC の基調講演中にそのブレークスルーを披露しました。

この研究には、先月開催されたコンピューター グラフィックスのカンファレンスである SIGGRAPH で公開された受賞歴のある研究が含まれます。

Neural Reconstruction Engine

Neural Reconstruction Engine (ニューラル再構築エンジン) は、NVIDIA DRIVE Sim シミュレーション プラットフォームの新しい AI ツールセットで、複数の AI ネットワークを使用し、記録済みのビデオデータをシミュレーションに変換します。

新しいパイプラインは、AI を使用して、環境、3D 素材、シナリオなど、シミュレーションに必要な主要な要素を自動的に抽出します。これらの要素は、記録データのリアルさを保ちながら、必要に応じて適切に反応し、操作できるシミュレーション シーンに再構築されます。このレベルの詳細さと多様性を手作業で達成するには、費用と時間がかかり、スケーラブルとは言えません。

環境と素材

シミュレーションには、動作する環境が必要です。AI パイプラインは、現実世界での運転から得られた 2D ビデオ データを、DRIVE Sim にロードできる動的な 3D デジタル ツイン環境に変換します。

記録された走行データからAIによって生成される 3D シミュレーション環境

DRIVE Sim の AI パイプラインは、同様のプロセスに従ってその他の 3D 素材も再構築します。エンジニアは、それらの素材を使用して現在のシーンを再構築したり、より大きなライブラリ内にそれらを置いて、任意のシミュレーションで使用したりできます。

素材の収集パイプラインを使用することは、DRIVE Sim ライブラリを成長させ、現実世界の多様性と分布に一致させるための鍵となります。

実世界のデータから得られた素材は、3D オブジェクトに変換されて他のシーンで再利用できます。ここでは、レッカートラックが左側のシーンから再構築され、右側に示されている別のシミュレーションで使用されます。

シナリオ

シナリオとは、素材と組み合わせた環境でのシミュレーションの中で行われるイベントを指します。

Neural Reconstruction Engineは、AI ベースの挙動をシーンの中に登場する人物や車両、オブジェクト等に割り当てるため、元と同じイベントがあれば、実際の運転時と同じように正確に動作します。さらに、AI の動作モデルを使用しているので、シミュレーションの中の対象人物や車両は、AV やシーンの中の他の要素による変化に反応し対応できます。

これらのシナリオはすべてシミュレーションの中で起きるため、新しい状況を追加するために操作することもできます。イベントのタイミングと場所も調整できます。開発者は、合成した、または実際にあった、まったく新しい要素を組み込むことができ、シナリオの難易度を高くすることも可能です。下のシーンでは、ボールを追いかける子供が追加されています。

合成オブジェクトは実際のシナリオと混合することが可能です。

DRIVE Sim への統合

環境、素材、シナリオが抽出されると、DRIVE Sim で再構築され、記録されたシーンの 3D シミュレーションを作成するか、他の素材と混合して完全に新しいシーンを作成することができます。

DRIVE Sim は、開発者が動的および静的オブジェクト、車両のパス、および車両センサーの位置、方向、パラメーターを調整できるツールを提供します。

DRIVE Sim の同じシーンから、事前ラベル済み合成データを生成し、認識システムをトレーニングすることもできます。トレーニングデータに多様性を与えるために、再生成されたシーンにランダム化が適用されます。現実世界のデータからシーンを構築すると、シミュレーションと現実のギャップが大幅に減少します。

再構成されたシーンを合成された素材で拡張し、グラウンドトゥルースを備えた新しいデータを作成することで、AV 認識システムをトレーニングすることができます。

シミュレーション フォーマットを自由に組み合わせる機能は、大規模な AV を包括的にテストおよび検証する上で大きな利点です。エンジニアは、正確に反応する世界でイベントを操作し、自分のニーズに合致させることができます。

Neural Reconstruction Engineは、NVIDIA の研究チームによる取り組みの成果であり、DRIVE Sim の将来のリリースに統合されます。このブレークスルーにより、単一のクラウドベースのプラットフォームで、物理ベースでニューラル駆動型シミュレーションという両方の利点を活用できます。