Derivative、Notch、Pixotope をはじめとする企業が、NVIDIA の Vid2Vid Cameo ツールや 3D 姿勢推定ツールを利用して、リアルタイムでのパフォーマンス向上を図る

NVIDIA の AI ツールが、視覚効果やアニメーションを手掛けるスタジオ、プロのクリエイター、さらにはカメラを使うすべての愛好家まで、あらゆるレベルのクリエイターのために、ディープラーニングを活用したパフォーマンス キャプチャを可能にしています。NVIDIA Vid2Vid Cameo を使用すると、クリエイターは、AI を活用してプロ用のカメラやスマートフォンで撮影したあらゆる標準的な 2D ビデオから顔の動きや表情をキャプチャできます。そのパフォーマンスをリアルタイムで適用することで、アバターやキャラクター、あるいは絵画のアニメーションを作成することも可能です。一方、3D 姿勢推定ソフトウェアを使用すると、歩行、ダンス、武術の動きといった全身の動作をキャプチャして、AI で仮想キャラクターに命を吹き込むことができます。3D 未経験者でさえ、これらのツールを使えば、スマートフォンの映像からでも制作プロジェクトを容易にアニメーション化できます。プロならさらに一歩前進して、姿勢推定ソフトウェアと Vid2Vid Cameo ソフトウェアを組み合わせて使用し、ライブ ストリームやアニメーション プロジェクト用のバーチャル キャラクターに自分自身の動きを転送することもできます。

また、制作スタジオでは、AI によるパフォーマンス キャプチャを概念設計やプレビジュアライゼーションに利用することで、デジタル キャラクター上での特定の動きの見え方について、すぐにアイデアを伝えられるようになります。

NVIDIA が Vid2Vid Cameo を使ったパフォーマンス キャプチャのデモを提供

NVIDIA AI Playground のデモを通じて利用可能な NVIDIA Vid2Vid Cameo では、話している人の顔を生成するのに必要な要素は 2 つだけです。アニメーション化するアバターか絵画の静止画像と、パフォーマンスする本人が話している映像、歌っている映像、または頭を動かしている映像です。

GAN（敵対的生成ネットワーク）に基づくこのモデルは、顔の動きをマッピングしてリアルタイムの動作をキャプチャし、その動作をバーチャル キャラクターに転送します。18万本のビデオを使ってトレーニングされたネットワークは、顔の動きをモデル化するために主要ポイントを 20 か所特定することを学習済みであり、目、口、鼻、眉毛などの位置をエンコードします。

これらのポイントは、パフォーマンスする本人のビデオ ストリームから抽出され、アバターやデジタル キャラクターに適用されます。以下のデモでその機能をご覧ください。このデモでは、エドガー アラン ポーの詩「Sonnet — to Science」の朗読パフォーマンスを、アーティストのゲイリー ケリー (Gary Kelley) 氏によるポーの肖像画に投影しています。

NVIDIA の Vid2Vid Cameo や姿勢推定と各社ビジュアル プラットフォームの統合

Vid2Vid Cameo が詳細な表情をキャプチャするのに対し、姿勢推定 AI は全身の動きを追跡します。これは、複雑な動作をしたりデジタル シーンを動き回ったりするバーチャル キャラクターを手掛けるクリエイターにとって重要な機能です。

Pose Tracker は、3D デザイン コラボレーションおよび世界シミュレーション プラットフォームであるNVIDIA Omniverseの拡張機能として提供されている、畳み込みニューラルネットワーク モデルです。ユーザーは、リアルタイムでキャラクターをアニメーション化するための動作のソースとして、映像をアップロードすることもライブ ビデオを配信することもできます。クリエイターは無料で NVIDIA Omniverse をダウンロードして、ステップ バイ ステップのチュートリアルから開始できます。

NVIDIA のパフォーマンス キャプチャ用 AI を自社製品に統合した企業は以下です。

• Derivative: ノードベースのリアルタイム ビジュアル開発プラットフォームである TouchDesignerのメーカーで、使いやすい顔追跡機能の実現手段として Vid2Vid Cameo を実装しました。
• Notch: 3D、視覚効果、ライブイベントのビジュアル用にリアルタイム グラフィックス ツールを提供する企業で、NVIDIA の姿勢推定 AI を利用して、アーティストがステージのセットアップを簡素化できるようにしています。カスタムのハードウェア トラッキング システムを使用する代わりに、Notch ユーザーは標準的なカメラ装置を使って 3D キャラクターのアニメーションをリアルタイムで制御できます。
• Pixotope: バーチャル プロダクションの主要企業で、NVIDIA の AI を利用したリアルタイムのタレント追跡機能を使って、ライブ プロダクションのインタラクティブ要素を促進しています。ノルウェーに拠点を置き、直近の NVIDIA GTC で、現実要素とスクリーン上のバーチャル要素のインタラクションを可能にする独自の研究を紹介しました。

先週、コンピューター グラフィックスの専門家が集う世界最大のイベント SIGGRAPH で、AI、デジタル ヒューマン、仮想世界における NVIDIA の最新の技術進歩に関する詳細が紹介されました。