NVIDIA Research、CVPR の Autonomous Grand Challenge の End-to-End Driving 部門で優勝

NVIDIA が Computer Vision and Pattern Recognition カンファレンスで、自律走行車開発のための画期的なアクセラレーテッドコンピューティングと生成 AI を披露。

自動運転車の開発を加速させるべく取り組んでいる NVIDIA は、シアトルで開催された Computer Vision and Pattern Recognition (CVPR) カンファレンスにて、Autonomous Grand Challenge の優勝者に選ばれました。

昨年の 3D Occupancy Prediction 部門での優勝に続き、NVIDIA Research は今年、End-to-End Driving at Scale 部門で Hydra-MDP モデルを利用し、全世界からの 400 件を超えるエントリーを上回る好成績を収め、リーダーボードのトップに立ちました。

このマイルストーンは、自律走行車 (AV) の開発における物理 AI の展開のためのアプリケーション構築において、生成 AI の重要性を示しています。このテクノロジは、産業環境、ヘルスケア、ロボティクスなどの分野にも応用できます。

優勝したモデルは、CVPR の Innovation Award も受賞しました。「学習されたオープンループのプロキシメトリクスを使用して、あらゆるエンドツーエンド運転モデル」を改善する NVIDIA のアプローチが高く評価されたのです。

さらに NVIDIA は、NVIDIA Omniverse Cloud Sensor RTX を発表しました。この一連のマイクロサービスは、物理的に正確なセンサーシミュレーションを実現することで、あらゆる種類の完全自律マシンの開発を加速させます。

エンドツーエンド運転の仕組み

自動運転車の開発競争は、短距離走ではなく、終わりのないトライアスロンのようなものです。それは、AI のトレーニング、シミュレーション、そして自律走行という、3 つの異なる、しかし極めて重要な要素が同時に機能するからです。それぞれが独自のアクセラレーテッドコンピューティングプラットフォームを必要で、上記の各要素のために構築されたフルスタックシステムは強力な三位一体を共に構成し、継続的な開発サイクルを実現し、パフォーマンスと安全性を高め続けます。

これを達成するために、まず NVIDIA DGX のような AI スーパーコンピューターでモデルのトレーニングが行われます。次に、NVIDIA Omniverse プラットフォームを使用し、NVIDIA OVX システム上でシミュレーションでテストと検証が実施されます。最後に実際の車両で NVIDIA DRIVE AGX プラットフォームを使用し、モデルを通してリアルタイムにセンサーデータを処理します。

複雑な物理世界を安全にナビゲートする自律型システムを構築するのは、非常に困難です。システムは周囲の環境を包括的に認識して理解した後、適切かつ安全な判断を瞬時に下さなければなりません。そのためには、リスクのあるシナリオや稀なシナリオにも対応できる、人間のような状況認識力が必要となります。

従来の AV ソフトウェアの開発は、モジュール式のアプローチをベースとしており、物体の検出と追跡、軌道予測、および経路の計画と制御のために、それぞれ別個のコンポーネントが使われていました。

エンドツーエンドの自律走行システムは、センサー入力を取り込んで車両の軌道を生成する統合モデルを使用することで、このプロセスを合理化します。これにより、複雑すぎるパイプラインを避け、今まで以上に包括的なデータに基づくアプローチを可能にすることで、実世界のシナリオに対応します。

CVPR の Autonomous Grand Challenge の End-to-End Driving at Scale で優勝した Hydra-MDP モデルのビデオをご覧ください。

Grand Challenge でのナビゲーション

今年の CVPR チャレンジでは、nuPlan データセットを使用してトレーニングされたエンドツーエンドの AV モデルを開発し、センサーデータに基づいて走行軌道を生成することが参加者に求められました。

これらのモデルは、提出後、オープンソースの NAVSIM シミュレーター内でテストされ、数千に及ぶ未経験のシナリオをナビゲートすることが課題とされました。モデルのパフォーマンスは、安全性、乗客の快適性、および記録された元の軌道からの逸脱度の指標に基づいて採点されました。

NVIDIA Research の優勝したエンドツーエンドモデルは、カメラと LiDAR のデータ、および車両の軌道履歴を取り込み、センサー入力後 5 秒間の安全かつ最適な車両経路を生成します。

NVIDIA の研究者が大会で勝つために使用したワークフローは、NVIDIA Omniverse を使用した高忠実度のシミュレーション環境で再現できます。これは、AV シミュレーション開発者が、実世界で AV のテストを行う前に、物理的に正確な環境でワークフローを再現できるということを意味します。NVIDIA Omniverse Cloud Sensor RTX マイクロサービスは、今年後半に利用可能になる予定です。早期アクセスにお申し込みください。

さらに NVIDIA は、CVPR の Autonomous Grand Challenge の Driving with Language にも参加し、2 位にランクインしました。この NVIDIA のアプローチは、ビジョン言語モデルと自律走行システムをつなぎ、大規模言語モデルの力を統合することにより、意思決定を支援し、一般化可能で説明可能な運転行動を実現します。