ParkNet ディープ ニューラルネットワークがカメラの画像データから空きスペースを見つけます

混み合った駐車場や街なかで駐車スペースを探してさまよった経験は、ありませんか。空いている場所を見つけるのは一苦労ですよね。枠線が消えかかっていたり、大型トラックの陰に小型車が隠れていたり、他のドライバーも空きを狙っていたり……。そうなると、ちょっとそこまでの買い物が、たちまちストレスに変わってしまいます。

こうした環境で自律走行車が駐車するには、さまざまな条件下で空きスペースを検出できる視覚認知システムが必要になります。そのようなシステムでは、屋内・屋外の両方で、1 本線や 2 本線、 時には消えかかった線で区切られた駐車スペースを認識することが求められます。また空きスペース、埋まっているスペース、部分的に隠れているだけのスペースを見分けることや、そのようなスペースをさまざまな光の条件下でこなすことも重要です。

駐車スペースの形状も、複雑さの元です。すべての駐車スペースが完璧な長方形というわけではありません。斜めに線が引かれていたり、傾斜があったりもしますし、縦列駐車の場合も、並列駐車の場合もあります。そのため、駐車スペースとそこに駐車しようとしている車両の位置関係には多様なパターンが考えられます。

AI が空きスペースをマーキング

NVIDIA が駐車スペースの認知を実現するために用いているのは、さまざまな条件で収集されたカメラの画像データと、ParkNet DNN によるディープ ニューラルネットワーク処理です。

駐車場の形状や向きといった幾何学的な多様性に対処するため、NVIDIAは ParkNet に対して駐車スペースを長方形ではなく 4 辺から成るポリゴンとして検知させるトレーニングを行いました。ParkNet DNN では一般化を行って、直角ではなく任意の角度でつながった 4 本の線を特定します。これにより、車両と区画線との位置関係を問わずに、駐車スペースを認知できるようになります。

ParkNet は、駐車スペースの 4 辺のうちどれが「入口線」にあたるのかも判断します。これは要するにポリゴンの開口部のことで、車両はそこから駐車スペースに進入することになります。入口線情報は自動駐車のプランニング/制御用ソフトウェアへの重要な入力情報となるため、高い確度で分類できるだけでなく、交通規則と社会通念にも従っている必要があります。

5 台のカメラを用いた周辺認知構成での ParkNet DNN を使った駐車スペースの認知。赤い線は、4 辺ポリゴン形式で検知された駐車スペースを示しており、緑の線は、駐車スペースの 4 辺のうち入口線として分類された辺を示しています。

ParkNet は、検知した駐車スペースと分類した入口線を 2D 画像領域に出力します。そのため、自律走行車向けの駐車プランニング/制御用ソフトウェアで ParkNet の出力結果を利用するには、2D 座標から 3D 座標への変換が必要になります。

カメラの自動キャリブレーション結果 (カメラのピッチ/ヨー/ロールの値、つまり上下、左右、時計回り/反時計回り方向の取り付け角パラメータの自動調整) を使用することで、ParkNet の出力結果を 3D 座標に変換できます。これにより 3D での位置の推定が可能になり、特に短距離の自動駐車動作では高い精度が得られます。

左: ParkNet による 2D 画像領域での検知・分類結果。
右: ParkNet による検知・分類結果が 3D 座標に変換され、見下ろした視点で視覚化されたもの。