生成 AI の開発者が NVIDIA テクノロジを活用し車内体験を変革

by Norm Marks · April 1, 2024

hdr-generative-ai-in-vehicle-experiences-720x340

NVIDIA のクラウドツーエッジテクノロジを使用して、Cerence、Geely、Li Auto、MediaTek、NIO、SoundHound、Tata Consulting Services、Waabi、Wayve などの企業が、インテリジェント AI アシスタント、ドライバーと乗客のモニタリング、状況の理解などに取り組んでいます。

未来の自動車は単なる交通手段ではありません。テクノロジと快適性をシームレスに融合して運転体験を向上させ、車内と車外の安全性を高めていくインテリジェントなコンパニオンとなるでしょう。

サンノゼコンベンションセンターで開催された NVIDIA GTC では、NVIDIAとそのパートナーによる、生成 AI、大規模言語モデル、視覚言語モデルが持つ変革力をモビリティ分野にもたらす画期的な取り組みに焦点が当たりました。

NVIDIA のブースでは、ディープラーニングと Transformer モデルを活用した認識、理解、生成機能の強化を通じて、ドライバーの安全性、セキュリティ、快適性を高める自動車向けアシスタントの構築方法が紹介されました。

対話する

生成 AI の一種である LLM は、Transformer モデルとして知られるディープラーニングアーキテクチャのクラスで、文脈や意味を学習することに優れたニューラルネットワークです。

ビジョン言語モデル(VLM)も生成 AI の派生であり、画像処理機能と言語理解機能を提供します。主にテキストベースのデータを処理して生成する従来の LLMやマルチモーダル LLM とは異なり、VLM は画像またはビデオを介して分析しテキストを生成します。

また、Retrieval-Augmented Generation により、メーカーがドライバーを支援するために、特定のデータベースや Web からの知識にアクセスすることができるようになります。

これらのテクノロジを組み合わせることで、NVIDIA Avatar Cloud Engine (ACE) とマルチモーダル言語モデルが NVIDIA DRIVE プラットフォームと連携して動作し、自動車メーカーが独自のインテリジェントな車載アシスタントを開発できるようになります。

たとえば、デザイナーは、Avatarコンフィギュレーターを使用して、カスタマイズされた音声と感情的属性を備えブランドに沿った独自のペルソナをその車両に構築できます。これらの AI アニメーションのアバターは、自然な対話を行うことができ、リアルタイムの支援、リコメンデーション、パーソナライズされたやりとりを提供します。

さらに、AI で強化されたサラウンドビジュアライゼーションは、360 度のカメラ再構築によって車両の安全性を強化し、同時に、インテリジェントアシスタントは地域の道路法などの外部情報を取得し判断材料として提供します。

パーソナライゼーションが最も重要であり、AI アシスタントがドライバーと乗客の習慣を学習し、乗員のニーズに合わせて動作を適応させます。

GTC で自動車向けの生成 AI が本格稼働

GTC では、NVIDIA パートナー数社も、NVIDIA のエッジツークラウドテクノロジを使用した生成 AI の最新の開発成果を展示しました。

Cerence の CaLLM は、同社の次世代車載コンピューティングプラットフォームの基盤として機能する自動車専用 LLMで、NVIDIA DRIVE 上で動作します。昨年末に発表されたこのプラットフォームは、車内インタラクションの未来形で、自動車およびモビリティ向けのアシスタント機能を備えており、統合的な車内体験を提供します。Cerence は、CaLLM をNVIDIA AI Foundation Modelsにより深く統合するために、NVIDIA エンジニアリングチームと協力しています。この共同の取り組みを通じて、Cerence は NVIDIA DGX Cloud を開発プラットフォームとして利用し、ガードレールを適用してパフォーマンスを向上させ、NVIDIA AI Enterprise を活用して推論を最適化しています。NVIDIA と Cerence は、今年も引き続き提携し、複数の自動車 OEM とともにこのソリューションを開拓していく予定です。
Wavye は、自律性を実現するためのエンボディド AI の新時代の到来を支援しています。同社の次世代 AV2.0 アプローチは、大規模なエンボディドAI 基盤モデルを特徴としており、センシングを入力、運転アクションを出力とするエンドツーエンドのAIで、自己教師ありで運転を学習します。この英国のスタートアップ企業は、NVIDIA 上で実行される AV 開発用の生成世界モデルである GAIA-1 をすでに発表しています。さらにLINGO-1 は、自然言語を使用して AI 運転モデルの学習と説明可能性を強化する閉ループ運転コメンテーターです。
Li Auto は 6 月にマルチモーダル認知モデル Mind GPT を発表しました。オープンソースライブラリである NVIDIA TensorRT-LLM に基づいて構築されており、その電気自動車メーカーの AI アシスタントである Lixiang Tongxue の基盤として機能し、シーンの理解、生成、知識の保持、および推論機能を実現します。Li Auto は現在、自動運転機能を強化するために DriveVLM を開発中で、システムが、複雑なシナリオ、特に、構造化されていない道路、まれにしかない通常ではない落下物、予期せぬ交通イベントなど、従来の AV パイプラインにとって困難なシナリオを理解できるようになります。この高度なモデルは NVIDIA GPU でトレーニングされ、データセンターでのデータ生成に TensorRT-LLM と NVIDIA Triton Inference Server を利用します。NVIDIA DRIVE と TensorRT-LLM によって最適化された推論により、DriveVLM は組み込みシステム上で効率的に実行されます
NIO は、NOMI Encyclopedia Q&A、Cabin Atmosphere Master、Vehicle Assistant など、数多くの機能エクスペリエンスを提供する NOMI GPT を発表しました。LLM によって実現される機能と、NVIDIA AI スタックによって強化された効率的なコンピューティングプラットフォームを備えた NOMI GPT は、基本的な音声認識およびコマンド実行機能が可能であり、ディープラーニングを使用して、車内でより複雑な文や指示を理解し、処理することが可能になります。
Geely は NVIDIA と協力して、インテリジェントな車内体験を提供し、更にエッジからクラウドへの展開も加速しています。具体的には、Geelyは生成 AI と LLM テクノロジを適用して、自然言語処理、対話システム、インテリジェントナビゲーションと音声アシスタントの予測分析を使用して、よりスマートでパーソナライズされた安全な運転体験を提供します。LLM の運用環境導入に際し、Geely は NVIDIA TensorRT-LLM を使用して、高効率の推論を実現しました。Geelyは、大量のデータサポートが必要なより複雑なタスクやシナリオに対して、大規模なモデルをクラウドに展開することを計画中です。
Waabi は自動運転用の AI を構築しており、NVIDIA DRIVE Thor が提供する生成 AI 機能を画期的な自動運転トラック輸送ソリューションに使用予定で、トラック運送業界に安全で信頼性の高い自動運転をもたらします。
Lenovo は、UltraBoost と呼ばれる新しい AI アクセラレーションエンジンを発表予定です。これはNVIDIA DRIVE 上で実行され、車両内への LLM の展開を容易にする AI モデルエンジンと AI コンパイラーツールチェーンを備えています。
SoundHound AI は、車両にクラウド接続がない場合でも、NVIDIA を使用して、リアルタイム AI 機能と生成 AI 機能の両方を組み合わせた車載音声インターフェイスを実現しています。このソリューションは、ドライバーにSoundHoundのVehicle Intelligence製品へのアクセスも提供し、車の説明書やその他のデータソースから直接得た、設定、トラブルシューティング、その他の情報を、物理的な文書を介するのではなく、自然音声を介して提供します。
Tata Group のTata Consulting Services は、NVIDIA GPU とソフトウェアフレームワークを活用し、同社のAIを基にしたテクノロジとエンジニアリングの革新を通じて、Automotive GenAI Suite を構築しました。車載およびクラウドベースのシステムのための様々な LLM と VLM を活用し、ソフトウェアデファインドな車両の設計、開発、検証を加速します。
MediaTek は、Dimensity Auto Cockpit ポートフォリオ内で 4 つの車載向けシステムオンチップを発表しました。プレミアムからエントリーレベルに至るまで、次世代のインテリジェント車両に強力な AI ベースの車内体験が提供されます。ディープラーニング機能をサポートするために、Dimensity Auto Cockpit チップセットには、NVIDIA の次世代 GPU アクセラレーテッド AI コンピューターと NVIDIA RTX 搭載グラフィックスが統合され、車内で LLM を実行し、チャットボット、複数のディスプレイへのリッチコンテンツ配信、ドライバーの注意散漫検出やその他の AI ベースの安全性およびエンターテイメントアプリケーションが車両でサポート可能になります。