NVIDIA ACE マイクロサービスは、NPC に命を吹き込むツールを開発者に提供します。

本ブログは、AI をもっと身近なものにすることでこのテクノロジの謎を解明し、RTX PC ユーザー向けの新しいハードウェア、ソフトウェア、ツール、アクセラレーションを紹介する『AI Decoded シリーズ』の最新号です。

デジタル キャラクターがレベルアップしています。

ノンプレイアブル キャラクターはビデオ ゲームのストーリーテリングにおいて重要な役割を果たすことがよくありますが、通常はその登場目的は固定されて設計されているため、特に何千ものキャラクターが存在する広大な世界では、同じようなキャラクターが繰り返し登場し退屈になりがちです。

レイトレーシングや DLSS などのビジュアル コンピューティングの驚異的な進歩の恩恵で、ビデオ ゲームはこれまで以上に没入感があり、リアルになっています。そのため特に NPC との無味乾燥な出会いは不自然ものになっています。

今年の初めに NVIDIA Avatar Cloud Engine のプロダクション マイクロサービスが提供開始になり、ゲーム開発者やデジタル クリエイターはまるで生きているような NPC を構築する上でのとっておきの切り札を手にすることとなりました。ACE マイクロサービスにより、開発者は最先端の生成 AI モデルをゲームやアプリケーションのデジタル アバターに統合できます。ACE マイクロサービスを使用すると、NPC はゲーム内でリアルタイムにプレイヤーと動的にやり取りし、会話することができます。

主要なゲーム開発企業、スタジオ、スタートアップ企業はすでに ACE を自社のタイトルに組み込んでおり、NPC やデジタル ヒューマンに新たなレベルのパーソナリティとエンゲージメントをもたらしています。

NVIDIA ACE でアバターに命を吹き込む

NPC を制作するプロセスはまず、NPC にバックストーリーと目的を与えることから始まります。このプロセスにより、物語を導き文脈に合ったダイアログを作成できます。次に、ACE のサブコンポーネントが連携してアバターとのやり取りを構築し、応答性を強化します。

NPC は最大 4 つの AI モデルを利用して、会話を聞き、処理し、ダイアログを生成し、応答します。

プレイヤーの音声はまず NVIDIA Riva に入力されます。NVIDIA Riva のテクノロジは、完全にカスタマイズ可能なリアルタイム会話型 AI パイプラインを構築し、GPU で高速化された多言語音声および翻訳マイクロサービスを使用して、チャットボットを魅力的で表現力豊かなアシスタントに変えることができます。

ACE を使用すると、Riva の自動音声認識 (ASR) 機能が話された内容を処理し、AI を使用して高精度の書き起こしをリアルタイムで提供します。十数言語に対応する、Riva を活用した音声書き起こしのデモをご覧ください。

次に、書き起こしたテキストが LLM (Google の Gemma、Meta の Llama 2、Mistral など) に送られ、Riva のニューラル機械翻訳によって自然言語のテキスト応答が生成されます。その後 Riva のテキスト読み上げ機能が音声応答を生成します。

最後に、NVIDIA Audio2Face (A2F) が顔の表情を生成します。これは多くの言語での対話と同期させることができます。マイクロサービスを使用すると、デジタル アバターは、ライブ ストリーミングでも後処理でのベイクでも、ダイナミックかつリアルな感情を表情に表すことができます。

AI ネットワークは、選択された感情の範囲と強度のレベルに合わせて、顔、目、口、舌、頭の動きを自動的にアニメーション化します。また、A2F はオーディオ クリップから直接、感情を自動的に推測できます。

各ステップはリアルタイムで実行されるため、プレイヤーはキャラクターとスムーズに対話することが可能です。また、ツールはカスタマイズ可能なため、没入感のあるストーリーテリングや世界構築に必要なタイプのキャラクターを柔軟するための柔軟性を開発者に与えます。

役割を得た NPC

GDC と GTC では、開発者とプラットフォーム パートナーが、ゲーム内のインタラクティブな NPC からパワフルなデジタル ヒューマンの看護師まで、NVIDIA ACE マイクロサービスを活用したデモを紹介しました。

Ubisoft は、ダイナミックな NPC を使用した新しい形のインタラクティブなゲームプレイを模索しています。最新の研究開発プロジェクトで生まれた NEO NPC は、プレイヤーやその周囲、他のキャラクターとリアルタイムで対話できるように設計されており、ダイナミックかつ創発的なストーリーテリングの新たな可能性を開拓します。

NEO NPC の機能は複数のデモで紹介されており、周囲の状況や文脈の認識、リアルタイムの反応とアニメーション、会話内容の記憶、コラボレーションと戦略的意思決定と、各デモでは NPC の行動のそれぞれ異なる側面に焦点が当てられていました。これらのデモを組み合わせると、ゲーム デザインと没入感の限界を押し上げるテクノロジの可能性が浮き彫りになります。

Ubisoft のナラティブ チームは Inworld の AI テクノロジを使用して、それぞれ別々のバックグラウンド、知識ベース、独自の会話スタイルを持つ 2 人の NEO NPC、Bloom と Iron を制作しました。また、Inworld のテクノロジにより、NEO NPC は周囲の状況に関する知識を持っており、Inworld の LLM の活用によりインタラクティブな応答をすることができます。NVIDIA A2F は、2 人の NPC にリアルタイムでのファイシャル アニメーションとリップシンクを実現しました。

Inworld と NVIDIA は、NVIDIA ACE のテクノロジと Inworld Engine を紹介した Covert Protocol と呼ばれる新しいテクノロジ デモで GDC を沸かせました。このデモでプレイヤーは私立探偵を操作し、現場の NPC との会話を基に目標を達成していきます。AI を活用したデジタル キャラクターが重要な情報提供者としての役割を果たし、課題を出し、物語の重要な展開を進める Covert Protocol が、ソーシャル シミュレーション ゲームの仕組みを提起しました。AI 主導のやり取りとプレイヤーの主体性がこのように強化されたことで、創発的なプレイヤー固有のゲームプレイの新たな可能性が拓かれることになります。

Unreal Engine 5 上に構築された Covert Protocol は、Inworld Engine と、NVIDIA Riva ASR や A2F を含む NVIDIA ACE を使用して、Inworld の音声およびアニメーション パイプラインを強化しています。

CES で紹介された、Convai と共同で構築された NVIDIA Kairos 技術デモの最新バージョンでは、Riva ASR と A2F が使用して NPC の対話性を大幅に向上させています。Convai の新しいフレームワークにより、NPC 同士が会話し、オブジェクトを認識でき、アイテムを拾って目的のエリアに届けることができます。さらに、NPC はプレイヤーを目標に導き、ワールド内を横断する能力を獲得しています。

デジタル キャラクターが現実世界に

NPC 制作に使用されるテクノロジは、アバターやデジタル ヒューマンのアニメーション化にも使用されています。タスク固有の生成 AI はゲームだけでなく、ヘルスケア、顧客サービスなどにも浸透しています。

NVIDIA は GTC で Hippocratic AI と協力して、ヘルスケア エージェント ソリューションを拡張し、生成 AI ヘルスケア エージェント アバターの可能性を示しました。リアルタイムのユースケースを強化するための超低遅延推論プラットフォームの開発に向けた取り組みが進んでいます。

Hippocratic AI の共同創業者兼 CEO である Munjal Shah 氏は次のように述べています。「私たちのデジタル アシスタントは、世界中の患者に有益かつタイムリーで、しかも正確な情報を提供します。NVIDIA ACE のテクノロジは、最先端のビジュアルとリアルなアニメーションでデジタル アシスタントに命を吹き込み、患者とのつながりを強化します」

Hippocratic 初の AI ヘルスケア エージェントの社内テストでは、長期治療管理、ウェルネス コーチング、健康リスク評価、健康調査の社会的決定要因、術前支援、退院後のフォローアップに重点が置かれています。

自律型デジタル ヒューマン プラットフォームである UneeQ は、顧客サービスやインタラクティブ アプリケーション用の AI 搭載アバターに焦点を当てています。UneeQ は、NVIDIA A2F マイクロサービスを自社のプラットフォームに統合し、それを Synanim ML 合成アニメーション テクノロジと組み合わせて、顧客体験とエンゲージメントを強化できる非常にリアルなアバターを制作しました。

「UneeQ は、NVIDIA のアニメーション AI と当社独自の Synanim ML 合成アニメーション テクノロジを組み合わせて、感情に共感するリアルタイムのデジタル ヒューマン インタラクションを実現し、対話型 AI によるダイナミックな体験を提供しています」と、UneeQ の創業者/CEO の Danny Tomsett 氏は述べています。

ゲーミングにおける AI

ACE は、ゲームを次のレベルに引き上げる多数の NVIDIA AI テクノロジの 1 つです。

• NVIDIA DLSS は、AI を使用して GeForce RTX GPU のフレームレートを高め、画質を向上させる画期的なグラフィックス テクノロジです。
• NVIDIA RTX Remix により、Mod 開発者はゲーム アセットを簡単にキャプチャし、生成 AI ツールでマテリアルを自動で強化し、フルレイトレーシングと DLSS で見事な RTX リマスターを素早く作成できます。
• NVIDIA Freestyle (新しい NVIDIA アプリのベータ版からアクセス可能) により、ユーザーは RTX HDR、RTX Dynamic Vibrance などの機能を備えたリアルタイムの後処理フィルターを通じて 1,200 以上のゲームのビジュアル面での見た目の美しさをパーソナライズできます。
• NVIDIA Broadcast アプリはどんな部屋でもホームスタジオに変身させることができます。ノイズとエコーの除去、バーチャル背景と AI グリーン スクリーン、オートフレーミング、ビデオ ノイズ除去、アイコンタクトなど、AI で強化された音声ツールおよびビデオ ツールをライブストリームに提供します。

NVIDIA RTX PC およびワークステーションで AI を活用した最新かつ最高の体験を体感しましょう。「AI Decoded」で、最新情報や今後の注目テクノロジなどをキャッチアップできます。

AI Decoded ニュースレターにご登録いただいた方には、最新情報を毎週メールで直接お届けします。