AI のスター : アカデミー賞にノミネートした『アイリッシュマン』と『アベンジャーズ』、AI による視覚効果が舞台を整える

by Rick Champagne · February 20, 2020

ハリウッドの映画スタジオが、NVIDIA の GPU で高速化されたディエイジングとデジタルヒューマン技術で人気をさらう。

先日のアカデミー賞授賞式で注目を浴びたのは、2 つのオスカー候補に選ばれた新人である、AI による視覚効果でした。

視覚効果部門の 2 つの候補、『アイリッシュマン』 (The Irishman) と『アベンジャーズ/エンドゲーム』 (Avengers: Endgame) は、AI を使って人間の俳優とデジタルキャラクターとの境界を押し広げ、『アイリッシュマン』ではスターたちをディエイジング (de-aging) し、『アベンジャーズ』では悪名高い敵役サノスに命を吹き込みました。

AI によって強化されたこの革新的なストーリーテリングを実現したのは、VFX スタジオ Industrial Light & Magic (ILM) と Digital Domain で、両社ともプロダクションの高速化に NVIDIA Quadro RTX GPU を使用しています。

AI によるタイムマシン

第二次世界大戦から 2000 年代の介護施設までの各年代にわたり、Netflix の『アイリッシュマン』は殺し屋フランクシーランの物語を、その人生のさまざまな時期からのシーンを通して描いています。

しかしこの映画の主役 3 人、ロバートデニーロ (Robert DeNiro)、アルパチーノ (Al Pacino)、ジョーペシ (Joe Pesci) はみな 70 代です。メイクアップでは、この俳優たちを 20 代や 30 代のころの姿に本物らしく変身させることはできませんでした。そして監督のマーティンスコセッシ (Martin Scorcese) は、典型的なモーションキャプチャのマーカーや、自然な演技の妨げとなる種々の装置を撮影中に使うことに反対していました。

この条件を満たすため、ILM は 3 台のカメラから成る新たな装置を開発し、撮影セットでの俳優の演技を録画できるようにしました。監督のカメラの脇に 2 台の赤外線カメラを取り付けて、3D ジオメトリと質感を記録できるようにしたのです。チームはさらに、俳優たちが過去に演じた作品から何千もの映像をえり分けるため、AI を使った ILM Facefinder というソフトウェアを開発しました。

このツールは、カメラのアングル、構図、照明、表現がレンダリング中のシーンと一致するフレームを探し出すもので、ILM のアーティストはこれにより、ショットに含まれるすべてのフレームと比較できる参考資料を手に入れました。このような視覚資料は、俳優ごとに作られたデジタルの代役を映画の特定の各シーンで求められる年齢に変身させるための調整に使われました。

「AI と機械学習は、私たちが VFX で行うあらゆることに組み込まれつつあります」と、ILM で『アイリッシュマン』の VFX 監督を務めるパブロヘルマン (Pablo Helman) 氏は述べます。「NVIDIA Quadro RTX GPU によって強化された私たちのプロダクションパイプラインと合わせて、これらの技術が次の 10 年で何をもたらすのかとても楽しみです」。

RTX にお任せ: AI による VFX を採用するスタジオやアプリ

NVIDIA RTX GPU によって高速化される AI ツールを採用する視覚効果スタジオやアプリは増えてきており、ILM と Digital Domain はその 2 つにすぎません。

HBO の『The Righteous Gemstones』シリーズでは、主演俳優のジョングッドマン (John Goodman) は実際よりも 30 歳若く見えます。このディエイジング効果は Shapeshifter というカスタムソフトウェアで実現されました。このソフトウェアは AI を使って顔の動き、つまり皮膚が筋肉や骨の上でどのように伸びたり動いたりするのかを分析します。

VFX スタジオ Gradient Effects は Shapeshifter を使って俳優の顔を変えました。 NVIDIA GPU を使用することで、その工程には数か月ではなく数週間しかかかりませんでした。

Adobe、Autodesk や Blackmagic Design のような企業は、RTX に対応したアプリを開発し、視覚効果に関するその他の課題、たとえば実写シーンのデプス修正、色調整、リライティングとレタッチ、スピードワープの動き推定によるリタイムとアップスケールなどに、AI を使って取り組んでいます。

Netflix、AI を利用した予測にゴーサイン

スクリーンの外では、Netflix のようなストリーミングサービスが AI によるレコメンデーションエンジンを利用し、利用者の視聴履歴や、似たような視聴習慣の人々が見ているコンテンツを示す類似性指標に基づいて、パーソナライズされたコンテンツを利用者に提供しています。

Netflix はほかにも、個々のユーザーに訴求するため動画のサムネイルをカスタマイズし、また低帯域幅でのストリーミング品質を最適化するために AI を使っています。同社は複雑なデータモデルを扱う作業の高速化に NVIDIA の GPU を使用しており、それにより迅速なイテレーションを実現しています。