アマチュアの落書きレベルから一流のデジタル アーティストまで、NVIDIA Research が開発したもっとも人気の高いデモ「GauGAN」を使って傑作を生み出そうと、多くのクリエーターが続々と出現しています。

簡単なスケッチをフォトリアリスティックな絶景へと変換するこの AI ペインティング Web アプリは、GAN (敵対的生成ネットワーク) を活用した NVIDIA Researchを紹介するために開発されたものです。

GauGAN を使って生み出された画像は、ベータ版の一般提供が NVIDIA AI Playground でわずか 1 か月前に開始されて以来、50 万枚を超えるまでになっています。

アイディアを試作し、合成シーンにすばやく変更を加えるためのツールとして GauGAN を既に利用しているプロのクリエーターの中には、主要な映画スタジオやゲーム会社のアート ディレクターやコンセプト アーティストも含まれます。

『スター・ ウォーズ』、『トランスフォーマー』、『アベンジャーズ』などの映画制作に携わってきたコンセプト アーティストでありモデラーのコリー・ ワーツ (Colie Wertz) 氏は次のように述べています。「GauGAN の登場で、着想を得るために使えるかもしれないと思いました。GauGAN は、私がこれまで自分が想像もしなかったものです」

同氏は最近、GauGAN による景色をベースに空想の船のデザインを作成し、ソーシャル メディアで共有しました。

「さっとブラシを動かすだけで作品の環境をリアルタイムに更新できる様は圧倒的です。雰囲気が一瞬で変わります。自分のコンセプト デザインに対するアプローチを見直さなければなりません」と、自身の創作に NVIDIA RTX GPU を利用するワーツ氏は言います。

今週の SIGGRAPH カンファレンスの参加者は、Tensor コアを特徴とする NVIDIA Quadro RTX GPU を搭載した HP RTX ワークステーションで実行される GauGAN を、NVIDIA ブースで実際に体験いただけます。NVIDIA の研究者チームは、このコンピューター グラフィックスにおける権威ある展示会のライブ イベントでも GauGAN を紹介する予定です。

ユーザーは、GauGAN で作成した自分の作品を Twitter (#SIGGRAPH2019、#GauGAN、@NVIDIADesign) で共有することで、ワーツ氏が審査員を務める NVIDIA の AI アート コンテストに参加でき、受賞者には NVIDIA Quadro RTX 6000 GPU が贈られます。

AI アーティストとしての才能を開花させよう

GauGAN の名前は、後期印象派の画家であるポール・ ゴーギャン (Paul Gauguin) から来ています。そのフォトリアリスティックな画像は、シーンのレイアウトを示すラベル付けされたスケッチであるセグメンテーション マップから生み出されます。

クリエーターは、ブラシ ツールや塗りつぶしツールを使って描いた風景画に、川、草、岩、雲などのラベルを付けることができます。そして、スタイル変換アルゴリズムによるフィルターを適用し、生成された画像の色の組み合わせを変えたり、フォトリアリスティックなシーンから油絵風に変えたりすることが可能です。

NVIDIA の研究者であるミンユウ リュウ (Ming-Yu Liu) は、次のように述べています。「NVIDIA の研究者チームは画像合成の研究を進める中で、より一層忠実度と解像度の高い画像を生み出すための新たな技法を常に追い求めています。それこそがこのプロジェクトの本来の目的でした。」

しかし、シリコンバレーで行われた GPU テクノロジー カンファレンス (GTC) で GauGAN のデモが紹介されると、それ自体が独り歩きし始めました。そのデモを実際に体験して、陽光降り注ぐ海の風景から、雲に覆われたのどかな山並みまで、あらゆる絶景を生み出すことのできる展示会場のタブレットに参加者が殺到したのです。

そして、SIGGRAPH で展示中のこのアプリの最新版では、ユーザーが独自のフィルターをアップロードして自分の作品に重ね合わせ、完璧な夕焼けの写真を取り入れたり、好きな画家のスタイルをまねたりすることができます。

さらに独自の風景画像をアップロードすることも可能で、その元画像を AI がセグメンテーション マップに変換したものをユーザーのアート作品のベースとして利用することができます。

リュウは次のように話しています。「我々の研究によってインパクトを与えたいのです。人々が創造力を発揮して AI なしには実現できないアート作品を生み出すための手段を提供し、想像したものを実現できるようにします。」

研究者チームがこの技術の恩恵を受ける対象として想定したのは、ゲーム開発者や景観デザイナー、都市プランナーでしたが、GauGAN への関心はそれをはるかに超える範囲にまで広がりました。なかには、患者の治療を目的としたストレス軽減ツールとしての利用を模索する医療機関もあります。

想像をかき立てる AI の力

PyTorch ディープラーニング フレームワークを利用して開発された GauGAN のニューラルネットワークには、NVIDIA DGX-1 ディープラーニング システムを使って 100 万枚の画像に対するトレーニングが行われました。GTC で紹介されたデモは NVIDIA TITAN RTX GPU 上で実行されましたが、Web アプリについては、Amazon Web Services を通じて NVIDIA GPU 上でホストされています。

リュウは、研究者のテイスン パク (Taesung Park)、ティンチュン ワン (Ting-Chun Wang )、ジュンヤン ジュー (Jun-Yan Zhu) らとともに、このディープ ニューラルネットワークと関連アプリを開発しました。

そしてチームは、GauGAN のニューラルネットワーク用ソース コードを公開し、他の開発者が非営利目的で独自のアプリケーションの実験や構築を行えるようにしました。

また、NVIDIA AI Playground では、GauGAN を利用して直接デモを体験できるようにしています。