3D ジェネラリスト兼ビデオ エディターが NVIDIA Omniverse、Audio2Face アプリとEpic Games Unreal Engineを使用して、フォトリアリスティックなデジタル ヒューマンによるシーンを作成し、ワークフローを高速化。

インスピレーションとは、それがどこから来たのか、それがどこにつながるのか決して分からないものです。

ブラジル南部を拠点とする 3D ジェネラリストでフリーランスのビデオ エディターであるアンダーソン ロール (Anderson Rohr) 氏は、結婚式のビデオから映画のアニメーションに至るまで、十数年にわたりコンテンツを作成してきました。

ロール氏は、別のクリエイターが NVIDIA Omniverse とその AI を利用した Audio2Face アプリケーションを使用して SF キャラクターの顔と声をアニメーション化するのを見た後、自分でもこのテクノロジを試してみない訳にはいかないと思ったと述べました。

その結果、ロール氏が自分の声で作成した、Credence Clearwater Revival の 1960 年代のアンセム、「Bad Moon Rising」の、険しい声によるリップシンク カバーが完成しました。

このビデオを作成するにあたり、ロール氏は GeForce RTX 3090 GPU とともに NVIDIA Studio システムを使用しました。

ロール氏の芸術的なワークフロー

これはロール氏個人のプロジェクトでした。ロール氏は最初に自分の歌を録音し、Audio2Face でファイルを開きました。

NVIDIA AI と Omniverse テクノロジをベースに構築されたこのアプリケーションは、ボイスオーバー トラックまたはその他のオーディオ ソースを使用するだけで、デジタル ヒューマンの表情豊かな顔のアニメーションを即座に生成します。

次にロール氏はキャラクターの目、眉、首を手動でアニメーション化し、シーンの照明を微調整しました。

「NVIDIA Omniverse で、より自然なデジタル ヒューマンが出来上がり、ワークフローを高速化できます。このため、クリエイティブなプロセスに、より多くの時間を割くことができます」とロール氏は言います。

Omniverse を使用する前は、ロール氏のアニメーションの中にはレンダリングに 300 時間もかかるものもありました。また、ソフトウェアの非互換性にも悩まされ、それが作業をさらに遅らせた原因となっていた、と彼は言います。

現在、Omniverse とさまざまなソフトウェア アプリケーション用のコネクターを使用して、ロール氏はレンダリングをリアルタイムで実現しています。

「Omniverse は私のワークフローを大きくかえることなく、私の期待を超えるものです。私は Omniverse を頻繁に使用しています。私のアートワークが、バーチャル プロダクション、ゲーム、映画のシーンなど、クリエイティブなプロジェクトでリアルタイムに作品を作りたいと考える人たちにとって刺激となることを願っています」とロール氏は話しています。

Omniverse により、NVIDIA Studio を利用するクリエイターは、最適化された RTX アクセラレーションによるハードウェアやソフトウェアのドライバ、および最先端の AI やシミュレーション機能を使用して芸術的なワークフローを強化できます。

ロール氏が NVIDIA Omniverse を使った自分の作品について語っている動画をご覧ください。