1928 年に大阪で生まれた手塚治虫は、日本および世界で「漫画の父」として知られています。手塚氏はまた、ウォルト ディズニーと同じように、世界で最も偉大なイラストレーターとしても有名であり、『鉄腕アトム』、『リボンの騎士』、『ジャングル大帝』、『ブラック・ジャック』をはじめとする多数の伝説的な漫画を残しています。

手塚氏は 1989 年に亡くなりました。彼の遺産の命を保つため、日本のメモリ メーカーであるキオクシア株式会社の研究者とチームが、手塚プロダクションのアーティストおよびアカデミック パートナーとコラボレーションし、手塚作品をもとに、ディープラーニングを使って世界初の AI デザインによる漫画を制作しました。

新作漫画『ぱいどん』は、週刊漫画誌『モーニング』に掲載されました。漫画に登場する新しいキャラクターとストーリーを生成するため、チームはキャラクター生成の段階に NVIDIA StyleGAN を使用し、『火の鳥』、『ブラック・ジャック』、『鉄腕アトム』など何百もの作品を分析しました。

「漫画の神様、手塚治虫は、
テクノロジーで夢を描く楽しさを教えてくれた
それと同時に、科学が人間性を置き忘れていけないことも訴えた
2020 年、かつて手塚治虫が描いた世界に、私たちは生きている
いま、彼が生きていたら、その目に映るのは一体どんな未来だろう」
世界新記憶 01 の記事で、研究者たちはこのように述べいます。

プロジェクト リーダーで、キオクシアのデジタル プロセス イノベーション センター技監の折原良平氏は次のように述べました。「世界新記憶 01 『TEZUKA 2020』は、AI と人間が手塚の膨大な記憶から作品を生み出すプロジェクトです。漫画は日本文化の表現として世界中で知られるようになりました。しかも、世代を超えて読まれ、愛されているのです」

同社はアカデミック パートナーとも連携して制作を行いました。慶應義塾大学理工学部教授で、電気通信大学人工知能最先端研究センター特任教授である栗原聡教授もその一人です。

「AI に手塚治虫らしさを学習させるため、マンパワーと画像認識専用 AI を使ってキャラクターの顔のパーツをデータに変換し、さまざまなシナリオの展開を分析しました。このデータを通じて AI は手塚治虫らしさを学習し、そこから手塚らしいキャラクターとストーリーラインが生成されました」と教授は語っています。

キャラクター生成の段階で核となるのが、NVIDIA の研究者が開発した敵対的生成ネットワークの NVIDIA StyleGAN です。

StyleGAN で使用するトレーニング用データセットを作るため、はこだて未来大学の迎山和司教授は学生に協力を求め、ともに手塚作品の 10,000 を超える顔の画像からモデルのトレーニングに使えるデータセットをまとめました。

「手塚作品以外のキャラクターの顔や実在する人物の顔も AI に学習させたり、同じキャラクターでも左右を反転して覚えさせたりしました」と迎山教授は説明しています。

AI が手塚氏らしいキャラクターを学ぶために用意されたのが、手塚治虫が残した 15 万ページに及ぶ原稿データです。これらは、はこだて未来大学にある認識器にかけられ、「コマ」「吹き出し」「顔」「体」に分類、タグ付けされました。AI によって生成される画像の品質を高めるため、画像を反転させて枚数を倍増したり、女性キャラクターだけを読み込ませたりと、理想的な画像が生成されるまでにスタッフは試行錯誤を繰り返しました。
トレーニングと推論は、多数の NVIDIA V100 GPU と、cuDNN で高速化された TensorFlow ディープラーニング フレームワーク (StyleGAN の記述に使用されています) を使って行われました。

第 1 段階では、StyleGAN は一度の処理で顔を生成しました。「そこでチームは、輪郭といった粗い部分から段階的に目、鼻、口などの細かい部分を生成することで、より完成度の高い画像の生成を試みました」と研究者は述べています。

次に、手塚漫画の女性キャラクターのみを使用しました。

最終的に、転移学習を使用し、何千というデータポイントを組み込むことで、破綻のない手塚氏らしいキャラクターが可能になりました。

「キャラクターのさまざまな個性を掛け合わせることにより、これまでにない特徴を持つキャラクターを創り出せることがわかりました。その仕組みは、2 つのキャラクターを混ぜ合わせる割合を段階的に変えていくことで、いくつものバリエーションを生み出すというものです」と研究者は説明しています。

折原氏は当初、転移学習にこのようなことができるとは思っていなかったと言います。また、モデル内部の動作については、未知の部分もあると追加しました。しかし、おもしろいのはそこだと同氏は語りました。「こういうことが起きるのが、ディープラーニングのおもしろいところです。次つぎとキャラクターが生み出されていくところを見ているのは、実に楽しかったです」

最終的な作品が掲載された『モーニング』誌の編集長 三浦敏宏氏は、人の手が介入しすぎていると知って、一度このプロジェクトを断ったと述べています。後に考えを改めたのは、栗原教授と話をして、この作品が人間の作家の仕事を再確認していること、そしてそれが「すごい」ことだと気づいたからだと言います。

「今回のプロジェクトは、人間がどうやって漫画を作っているのかを解析していく作業にも役立つことに気付きました。作品を通じて漫画を描く AI を作るプロセスが、実は人間の創作行為であることを映し出したかったんです」

最後に三浦氏は、人間が AI に勝っている点が 1 つあると述べました。「AI は作家と飲みには行けないですからね。そこは僕たちの勝ちかな」

この作品について、制作者による詳細なブログが公開されており、人間と AI のコラボレーションの様相が余すところなく描かれています。また、研究者によるミニドキュメンタリーも制作され、手塚プロダクションによる TEZUKA 2020 オフィシャル ムービーが YouTube でご覧頂けます。

StyleGAN は GitHub からご利用いただけます。