自律走行車は周辺環境を把握するために複数のカメラを利用します。しかし、雨や雪、その他の遮蔽物など、環境要素がカメラの視界に影響を及ぼすことがあります。堅牢なシステムは、周辺環境の理解だけでなく、センサーから送信されるデータの有効性も判断できなければなりません。そのためには処理パイプラインのできるだけ早い段階で、下流の各モジュールでデータが利用される前に、無効なセンサー データを検出する必要があります。
そこでNVIDIAはどれだけカメラの視界が明瞭かを評価するための学習を行い、視界の遮蔽や視界の低下の根本原因の特定を支援するディープ ニューラル ネットワーク (DNN)、「ClearSightNet」を開発しました。ClearSightNetは、以下のような要件を念頭に開発されています。
- カメラの視界喪失に対する多種多様な潜在的原因の特定
- 対応可能な行動につながる有益な情報の出力
- 極めて軽く、最小限のオーバヘッドで複数のカメラに対して実行可能
ClearSightNet では、カメラの画像を2 種類の視界喪失タイプ、「視界の遮蔽」と「視界の低下」 に区分けします。
「視界の遮蔽」区分とは、ほこり、泥、雪といった不透明な遮蔽物によってカメラの視界が覆われていたり、直射日光によるセンサの飽和などでピクセルの情報が欠落した状態の領域です。このような領域では認知能力は一切機能しません。
「視界の低下」区分とは、完全に遮蔽されてはいないとはいえ、大雨、水滴、霧や眩しい光などによって視界が低下した領域に相当します。このような領域では認知能力がある程度低下することが多く、信頼性が低下していると見なされるべきです。
ClearSightNet から入力画像に重ねることができるマスクが出力され、完全に視界の遮蔽が生じている領域は赤で、視界が低下していたり部分的に遮蔽されている領域は緑で示されます。このほか、入力画像内で視界の遮蔽や低下の影響を受けている割合を示す比率 (%) も出力されます。
ClearSightNet の出力例。入力画像 (左) と入力画像に ClearSightNet の出力マスクを重ねた結果 (右)。この例では、画像のピクセルの 84% が視界に影響を受けており、視界の完全な遮蔽は赤で、視界の低下は緑で示されています。
この情報はさまざまな用途に利用できます。たとえば、視界喪失が深刻な場合、自律走行機能を無効にしてユーザーにカメラのレンズやフロントガラスの掃除を行うよう警告したり、あるいは、ClearSightNet の出力データに基づいてカメラの認知能力の信頼性を計算したりといった応用例が考えられます。
ClearSightNet の現在と将来のバージョンは、カメラの視界喪失についてエンドツーエンドの分析と詳細情報の出力を行い、車両に搭載される機能の高度な制御を実現します。
性能面では、ClearSightNet は INT8 推論に対して調整されており、現時点では、ディスクリート(独立型）GPUで、1 フレームあたり 0.7 ミリ秒以下、Xavierの内蔵型GPUでは、1.3 ミリ秒以下で動作します。ClearSightNet は、NVIDIA DRIVE ソフトウェア 9.0 リリースで利用可能です。詳しくはこちらをご覧ください。