ホリデー シーズンが近づき、世界中が喜びと驚きに包まれる中、NVIDIA の CEO の完全 AI 駆動型アバターである Toy Jensen が、人々の気分をさらに高揚させる歌をお届けます

才能あるシンガーである Lah Yileh Lee と Xinting Lee のペアは、しばしばオンラインでパフォーマンスを配信していますが、台北の広場でパフォーマンスをしているところを NVIDIA 創業者/CEO の ジェンスン フアン (Jensen Huang) が偶然遭遇し、セレンディピティ (幸福な偶然) の瞬間が訪れました。

フアンは、2人が歌う Lady Gaga の 『Always Remember Us This Way』のレコーディングに思わず参加し、声援を送りました。

この動画はすぐに拡散され、さらに 2 人は、フアンがもともとリクエストしていた Lady Gaga の『Hold My Hand』を歌った、続きの動画も公開されました。

NVIDIA Omniverse Avatar Cloud Engine を使用して作成された Toy Jensen

そして、フアンは AI アバターである Toy Jensen (TJ) の助けを借りた、ホリデー シーズンをテーマにした遊び心のあるアンサー ソングを思いつきました。

NVIDIA のクリエイティブ チームは、NVIDIA Omniverse Avatar Cloud Engine (ACE) プラットフォームの一部であるコア テクノロジを紹介するためのテクノロジ デモである TJ によるホリデー パフォーマンスを迅速に開発しました。

Omniverse ACE は、開発者が魅力的でインタラクティブなアバターを簡単に構築、カスタマイズ、展開するためのクラウドネイティブな AI マイクロサービスとワークフローの集合体です。

専門知識、専門機器、手作業による集約的なワークフローを必要とする現在のアバター開発とは異なり、Omniverse ACE は Omniverse プラットフォームと NVIDIA の Unified Compute Framework (UCF) の上に構築されており、最低限のコーディングで素早く AI パイプラインを作成、構成できるようになっています。

NVIDIA のテクノロジ プログラム マネージャーであるサイラス ホッグ (Cyrus Hogg) は、「これは本当に素晴らしいテクノロジで、これを実現できるのは驚異的です」と述べています。

これを実現するために、NVIDIA のチームは最近開発した音声変換モデルを使って、プロの歌手が提供したサンプルから彼らの声を抽出し、TJ の声 (もともと何時間もの実録でトレーニングして開発された) に変換しました。そのサンプルの音符を TJ のデジタル音声に適用し、オリジナルの歌手と同じ音符、同じリズムでアバターが歌えるようにしたのです。

NVIDIA Omniverse Generative AI – Audio2Face、Audio2Gesture により、リアルな表情や体の動きを実現

そして、NVIDIA Omniverse ACE と Omniverse Audio2Face、Audio2Gesture のテクノロジを使って、TJ の音声だけでリアルな表情や体の動きを生成し、アニメーションで表現することに成功しました。

Omniverse ACE のテクノロジ開発チームは、パフォーマンスで紹介するテクノロジの開発と微調整に何年も費やしましたが、彼らが作成した音楽トラックを洗練されたビデオに仕上げるには、わずか数時間しかかかりませんでした。

Toy Jensen が「ジングルベル」のパフォーマンスでファンを盛り上げる

そのため、素晴らしいパフォーマンスを実現するための時間を十分に確保することができた。

さらに、マイケル ブーブレ (Michael Bublé) 氏やデヴィッド フォスター (David Foster) 氏と仕事をしてきた作曲家兼プロデューサーのヨッヘン ヴァン デル サーグ (Jochem van der Saag) 氏とコラボレーションし、TJ が一緒に歌えるような完璧なバック トラックを作り上げました。

「ヴァン デル サーグ氏が作曲し、オーケストレーションもしてくれるんだ」とホッグは言います。「このチームに素晴らしい仲間が加わりました。彼が参加してくれて本当に嬉しい」

ACE は、バーチャル体験に革命を起こすかもしれない

その結果、NVIDIA Omniverse ACE の完璧なショーケースとなり、バーチャル イベント、オンライン教育、顧客サービス、さらにはビデオ ゲーム、ソーシャル メディア、バーチャル リアリティ体験のためのパーソナライズされたアバターの作成など、様々な産業においてその応用が期待されます。NVIDIA Omniverse ACE は、早期アクセス パートナーに間もなく提供される予定です。