NVIDIA、自動運転車開発を前進させるDRIVE Sim の新しい AI ツールを発表

by Matt Cragun · March 31, 2022

hdr-drive-sim-omniverse-neural-ai-digital-twin

NVIDIA Research によるブレークスルーが、現実世界のシナリオをシミュレーションで再構築する Omniverse デジタルツインの能力を実証

自動運転車の開発と検証には、現実世界のシナリオをシミュレーションで再構築する能力が必要になります。

GTC では、NVIDIA の創業者/ CEO であるジェンスンフアン (Jensen Huang) が、実際の運転シナリオを正確に再構成、かつ調整も可能な、NVIDIA DRIVE Sim 用の一連の新しい AI ツールを紹介しました。NVIDIA Research のブレークスルーによって実現されたこれらのツールでは、NVIDIA Omniverse プラットフォームや NVIDIA DRIVE Map といったテクノロジを利用しています。

フアンはこれらの手法を並べて披露し、開発者がいかに複数シナリオを迅速に反復しながら容易にテストできるようになるかを示しました。

任意のシナリオをシミュレーションで再構成すれば、それを多彩なバリエーション (対向車の軌道変更や、走行経路上への障害物の追加など) の基盤とすることができるため、開発者はこの機能を利用して AI ドライバーを改善することが可能になります。

ただし、現実世界の運転シナリオを再構成し、そのシミュレーションの中で現実に即したデータを生成するプロセスには時間も工数もかかります。熟練のエンジニアや画像編集者が求められますが、それでもうまくいかないことがあるほどです。

そこで NVIDIA は、このプロセスをシームレスに遂行できるようにするため、仮想再構成 (Virtual Reconstruction) とニューラル再構成 (Neural Reconstruction) という 2 種類の AI ベースの手法を取り入れました。前者は現実世界のシナリオを完全合成の 3D シーンとして複製するのに対し、後者はニューラルシミュレーションを使って現実世界のセンサーデータから拡張を行います。

どちらの手法でも、1 つのシナリオの再現をはるかに超えて、さまざまな難しいシナリオを新たに生成することが可能です。この機能が継続的な AV のトレーニング、テスト、検証のパイプラインを加速します。

仮想再構成 (Virtual Reconstruction)

上の基調講演のビデオでは、NVIDIA 本社周辺の運転に関わる環境と一連のシナリオ全体が、NVIDIA の DRIVE Map や Omniverse、DRIVE Sim を使って 3D で再構築されています。

DRIVE Map を使用すると、開発者は Omniverse の道路網のデジタルツインにアクセスできます。Omniverse 上で構築された複数のツールを使って、その詳細な地図は、NVIDIA DRIVE Sim で利用できる、走行可能なシミュレーション環境へと変換されます。

再構築されたシミュレーション環境では、現実世界での走行から収集したカメラ、LiDAR、車両のデータを使い、交差点でのヒヤリハットや工事区域での走行といった事象を再構築できます。

シナリオの再構築は、プラットフォームの AI がサポートします。まず、それぞれの追跡対象オブジェクトについて、AI がカメラ画像を調べ、DRIVE Sim のカタログからもっとも近い 3D アセットを選び、画像のオブジェクトの色にもっとも近い色を見つけます。

最後に、追跡対象オブジェクトの実際の軌道が再構築されますが、オクルージョンが原因でギャップが生じることも少なくありません。そのような場合、AI ベースの交通モデルを追跡対象オブジェクトに適用して、オブジェクトがどう動く可能性があったか予測することで、その軌道のギャップを埋めます。

シナリオを再構築するために、実際の走行から収集されたカメラとLiDARのデータが、AIと併せて使用されます。

仮想再構築では、物理に基づくセンサーモデルから生成された忠実度の高いデータと多くの新しいシナリオを作成できるAI 動作モデルを使用して、起こりうる極めて難しい運転の状況を見つけ、 AV システムのトレーニングと検証を行うことができます。そのシナリオのデータで動作モデルのトレーニングを行うことも可能です。

ニューラル再構築 (Neural Reconstruction)

もう 1 つのアプローチでは、シーンを合成し生成する代わりにニューラルシミュレーションを利用します。まず、実際のセンサーデータを基にして、それに修正を加えます。

AV 開発には、センサーリプレイ (記録されたセンサーデータを再生して、AV システムの性能をテストするプロセス) が不可欠な要素となります。このプロセスはオープンループ型です。つまり、すべてのデータが事前に記録されており、AV スタックがこの世界に影響を及ぼすことはありません。

NVIDIA Research によるニューラル再構築手法のプレビューでは、記録されたデータを、完全に作用しあう変更可能な世界に変換しています。デモのように、元々記録されていたデータでは車の前を通過していたバンが、その代わりに右によけるように変更することもできます。この革新的なアプローチによって、クローズドループ型のテストを実現し、AV スタックと走行する世界の完全な相互作用が可能になります。

このプロセスは、記録された走行データから始まります。AI がシーン内の動的なオブジェクトを識別してそれらを消し去り、新たなビューにレンダリング可能な 3D 環境の正確なレプリカを作成します。その 3D シーンに動的オブジェクトが再配置されますが、その際、光と影を考慮したうえで、現実に即した AI ベースの動作と外観が付加されます。