近年、AI は作曲、物語の創作、ミームのキャプション作成と、多彩な分野でクリエイティブな才能を開花させてきました。そして今、ダンス フロアに踊り出すという新たな試みによって、AI モデルの活躍のステージが舞台芸術にまで広がろうとしています。
日本人が手掛けた舞台作品「discrete figures」では、AI ダンサーがステージ上に投影され、生身のダンサーとの共演を果たしました。公演では、観客が踊る姿を録画したものを入力データとして使い、部分的にトレーニングを行ったニューラル ネットワークも紹介されました。
日本のデジタル アート集団「Rhizomatiks (ライゾマティクス)」 と、マルチメディア ダンス カンパニー「ELEVENPLAY (イレブンプレイ)」、そしてメディア アーティストのカイル マクドナルド (Kyle McDonald) 氏のコラボによって生まれた同作品は、カナダ、米国、日本、スペインで昨年上演されました。
AI による振り付けの舞台裏
技術に関する知識も備えているアーティストであるマクドナルド氏が、ダンサーと組んで視覚体験の創造に乗り出したのは 2010 年のこと。同氏はそれを「現実空間と仮想空間の境界を楽しむ体験」と表現します。これまでにニューヨーク大学芸術学部 (NYU’s Tisch School of the Arts) で非常勤教授として教鞭を執り、レンセラー工科大学（Rensselaer Polytechnic Institute）ではエレクトロニック アーツの大学院学位を取得しました。
「discrete figures」を制作するにあたって、同氏は一定のビートに乗って即興で踊る 8 人のダンサーのモーション キャプチャ データを 2.5 時間分収集し、NVIDIA の GPU を使ってそのデータをニューラル ネットワーク「dance2dance」に流し込み、トレーニングを実施。その結果、3D の棒線画としてレンダリング可能な動きが生成されました。
投影された AI ダンサーが丸山氏とステージ上で共演 (下の動画からのスクリーンショット)
AI と ELEVENPLAY のダンサー、丸山 未那子 氏の共演では、3D ボディを重ね合わせてステージ上に投影された AI が丸山氏の隣に浮かび上がり、初めは銀色の輪郭だったものが、しだいに丸山氏の分身と化していきました。
最初、投影された AI ダンサーはニューラル ネットワークによってあらかじめ生成された動きを見せていましたが、途中から ELEVENPLAY の演出振付家、MIKIKO 氏が手掛けた動きへと切り替わり、丸山氏と息の合ったダンスを披露。丸山氏がステージから消えると、元の銀色の輪郭へと変容し、AI によって生成された振り付けに戻りました。
この人間が創作した動きと AI によって生成された動きの相互作用こそが、「discrete figures」のメイン テーマを表していると言えます。
マクドナルド氏は次のように述べています。「今後観客は、どこまでを人間が意図的に行い、どこから自動化が始まっているのか、ますます疑問を抱くようになるでしょう。現代は、私たちが何を消費するかや、どのように自分を表現するかまで、あらゆるものがアルゴリズムによって決まる時代であり、そんな時代にはこのような疑問が生じるのももっともだと言えるでしょう。」
次の段階へ: 観客がダンス フロアで踊り出す
この舞台作品のもうひとつの試みは、NVIDIA Research が開発したアルゴリズム「pix2pixHD」を取り入れ、観客の参加を呼びかけて行われました。
チームは、各公演で開場から開演までの時間を使って、年齢層、ダンス経験の異なる 16 人の観客に撮影用ブースに入ってもらい、黒色を背景にダンスの動きを 1 分間録画。各ダンス動画はクラウド上の単一の NVIDIA GPU に送られ、姿勢の推定と pix2pixHD アルゴリズムのトレーニングが一から行われました。
わずか 15 分間のトレーニングの後、このアルゴリズムによって 1 本のシンクロされたダンスの出力動画が生成されました。マクドナルド氏は開演までに、AI によって作成された 16 本の動画を音楽に合わせた 1 つの合成動画へと編集し、公演中に投影用スクリーンで披露しました。
公演では部分的にトレーニングされたニューラル ネットワークによって生成された合成動画を披露。観客が踊る姿を録画したものが入力データとして使われました。(画像提供: カイル マクドナルド氏)
観客の録画を使うことで、参加者は自分たちの「動きのデータがマシンによって再創造される」体験を実感できたと、マクドナルド氏はこのプロジェクトについて「Medium」の記事で説明しています。「この公演は、全体を通して繰り返される、あるテーマに沿っています。それは、『機械に映った自己の人間性を目の当たりにし、その逆に、機械が人間にどう映るのかも目撃する』というテーマです。」
また、3D ポイント クラウドと生成されたダンサーの骨格モデルを使って、ニューラル ネットワークの生データを独創的に視覚化する試みも行われました。
これについて同氏は次のように振り返ります。「わずか 15 分間のトレーニングを終えた後、pix2pixHD の未完成の状態を見て、私たちはトレーニング プロセスのその部分がステージにぴったりだと感じたのです。トレーニングの最初の 15 分間は、AI の出現や、デジタル世界と物理世界の判然としない境界といった、この公演のいくつかのテーマを間違いなくとらえていたからです。」