DRIVE ラボ: 自律走行車向けの進路認識を NVIDIA がいかに構築しているか

新しく始まる NVIDIA DRIVE ラボビデオシリーズでは、自律走行の構成要素を詳しく紹介し、DRIVE ソフトウェアの内部に迫ります。

編注: 完全な自律走行車の製作に成功した開発者または企業はまだ存在しません。しかし我々は近付いています。この新しく始まる DRIVE ラボブログシリーズでは、進路の認識から交差点の扱いまで、個々の解決すべき取り組みにエンジニアリングの観点から迫り、安全で堅牢な自律走行ソフトウェアを作るために NVIDIA DRIVE AV ソフトウェアチームがどのように取り組んでいるのかを紹介します。

ミッション: 多様性と冗長性によって進路認識を確実に

アプローチ: 進路認識アンサンブル

自動車が走行している最中に、データを用いて適切な走行可能な進路を予測し選択するという自律走行車の能力の中で、確実さは非常に重要です。NVIDIAはこのことを「path perception confidence（進路認識の確実性）」と呼んでいます。

NVIDIA DRIVE AP2X プラットフォームなどのレベル 2+ システムの場合、進路認識の確実性をリアルタイムで評価するということは、いつ自律走行が安全なのか、そしていつ制御を人間のドライバーに移行すべきかを知るということです。

進路認識の確実性をテストするため、シリコンバレーにある 80 キロメートル (50 マイル) の環状高速道路での、人間が一切介入しない、完全な自律走行を完遂することに着手しました。これはつまり、高速道路のインターチェンジ、車線変更、意図しない出口への進入の回避、カーブの急な箇所や車線区分線が少ない箇所での車線維持をこなすということです。これらすべての操作とその他の操作を、自動車の乗員にとって円滑かつ快適となるように行わなければなりませんでした。

とりわけ困難な点は、このテストのリアルタイム性にありました。録画されたビデオの解析といったオフラインテストでは、進路認識信号は完璧なお手本と常に比較することができます。しかし、実際に走行する車両内では、グラウンドトゥルースデータを利用することができません。

実地テストで自律運転車両が単一の進路認識信号に基づいて走行する場合、リアルタイムで確実性の正確度を取得する術は存在しません。さらに、唯一の進路認識に障害が発生した場合、自律走行機能が停止するおそれがあります。機能停止に至らない場合でも、実行される操作の快適さや円滑さが低下する可能性があります。

個別のネットワークからアンサンブルへ

リアルタイムの確実性を築くため、我々は進路認識ソフトウェアに多様性と冗長性を導入しました。

これは、3 つの異なる DNN (ディープニューラルネットワーク) の出力、オプションとして高精度地図など、いくつかの異なる進路認識信号を組み合わせることで達成しました。これらの信号がすべて個別に生成されるという事実により多様性がもたらされ、すべての信号が一様に走行可能な進路の認識を行うという事実により冗長性が生まれます。

3 つの異なる DNN によって生成される進路認識信号は、大部分が独立しています。その理由は、3 つの DNN が、学習データ、エンコード、モデルアーキテクチャー、そして学習の出力の観点ですべて異なるためです。

左車線、自車線、右車線のそれぞれにおける進路認識アンサンブル結果の一例。中心進路を示す濃緑色の線によって確実さを可視化。白線は車線境界線の予測を示しており、これもアンサンブルによって演算されています。

たとえば、LaneNet DNN は車線境界線を予測するようトレーニングされていますが、PathNet DNN は、車線境界線の有無にかかわらず、走行可能な進路を定めている境界を予測するようトレーニングされています。また、PilotNet DNN は、人間のドライバーが運転した際の車両軌跡に基づいて、走行の中心進路を予測するようトレーニングされています。

我々はアンサンブル技術を用いて異なる進路認識出力を組み合わせました。これは、いくつかのベースモデルを組み合わせて最適な予測モデルを生成する機械学習手法です。

異なる進路認識信号を一致 / 不一致分析することで、自律運転車両内で進路認識の確実さの生成と測定をライブで行い、全体としてより高品質の結果を得ました。

この分析結果は、可視化されます。各信号構成要素が強く一致した場合は、車線の中心進路予測を示す太線が緑になり、不一致の場合は赤くなります。

NVIDIAのアプローチは多様性に基づいているため、システムレベルの障害が発生する可能性は統計的に低く、これは安全性の点から見て極めて有益と言えます。