GauGAN2 はディープラーニング モデルを使用し、シンプルな書き言葉や文をフォトリアルな傑作に変換

「一枚の絵は一千語に匹敵する」とは昔からよく言いますが、人気を博しているNVIDIA Research の AI ペイント デモの最新バージョンである GauGAN2 にかかれば、たった 3、4 語で絵が完成します。

GauGAN の背景にあるディープラーニング モデルにより、誰もが自分が想像したものをフォトリアルな傑作に変えることができます。しかもこれまでになく簡単です。「海辺の夕日」といったフレーズを入力するだけで、AI がリアルタイムでシーンを生成します。「岩の多い海辺の夕日」などと形容詞を追加したり、または「日暮れ」を「午後」や「雨の日」といった語に変えたりすると、敵対的生成ネットワーク (GAN) に基づいたモデルが瞬時に画像を変更します。

ユーザーはクリック一つで、高レベルのアウトラインがシーン内のオブジェクトの位置を示すセグメンテーション マップを生成できます。その後描画に切り替えて、空、木、岩、川などのラベルを使用してラフ スケッチでシーンを微調整し、スマート ペイントブラシを使って、出来上がったスケッチを素晴らしい画像に変換することができます。

テキストから画像を生成するGauGAN2 の新機能、Text-to-Imageは NVIDIA AI Demoで体験できます。サイトにアクセスすると、NVIDIA Research の最新のデモを通じて AI 体験を楽しめます。GauGAN2 はテキスト入力やスケッチの多様な機能により、ユーザーはシーンの作成やカスタマイズをより迅速に、より細かく行うことができます。

短いフレーズでAIが高品質の画像を生成

GauGAN2 では、セグメンテーション マッピング、インペインティング、Text-to-Image といった機能が 1 つのモデルに集約されており、言葉と描画を組み合わせてフォトリアルなアート作品を創作できるパワフルなツールになっています。

このデモは、単一の GAN フレームワーク内で、テキスト、セマンティック セグメンテーション、スケッチ、スタイルといった複数のモダリティが組み合わさった初のデモのうちの 1 つです。これにより、アーティストのビジョンを AI によって生成された、高品質の画像にすばやく簡単に変換できます。

ユーザーは、想像上のシーンのすべての要素を描き出す必要はなく、「雪をかぶった山脈」といったように短いフレーズを入力すれば、画像の主要な特徴やテーマをすばやく生成できます。次に、これを開始点として、特定の山を高くしたり、前景に 2 本の木を追加したり、空に雲を追加したりと、スケッチでカスタマイズしていきます。

アーティストはリアルな画像の作成だけでなく、デモを使用して現実にはないような風景を描くこともできます。

例えば、『Star Wars』シリーズを象徴する、2 つの太陽を持つ惑星Tatooineの風景を再現することを想像してみてください。必要なのは、開始点を作成するための「砂漠の丘の太陽」というテキストだけです。その後、ユーザーはそこに 2 つ目の太陽をさっとスケッチできます。

これは反復的なプロセスであり、ユーザーがテキスト ボックスに入力する単語はすべて、AI で作成された画像に反映されていきます。

GauGAN2 の背景にある AI モデルは、NVIDIA DGX SuperPOD システムで構築され、世界で最もパワフルなスーパーコンピューターのトップ 10 に入る NVIDIA Seleneスーパーコンピューターを使用して、高画質の風景画像を 1,000 万枚使ってトレーニングされました。研究者たちは、「冬」、「霧」、「虹」、といった単語とそれに対応するビジュアルとのつながりを学習するニューラルネットワークを使用しました。

テキストから画像への変換や、セグメンテーション マップから画像への変換に特化した最先端のモデルと比較して、GauGAN2 の背後にあるニューラルネットワークは、よりバラエティに富んだ高品質の画像を生成します。

GauGAN2の研究デモにより、アーティスト向けのパワフルな画像生成ツールの将来における可能性が見えてきました。そのひとつに NVIDIA Canvas アプリがあります。GauGAN テクノロジをベースとするこのアプリは、NVIDIA RTX GPU を使用している人なら誰でもダウンロードできます。

NVIDIA Research は世界中に 200 人以上のサイエンティストを抱え、AI、コンピューター ビジョン、自動運転車、ロボティクス、グラフィックスといった研究分野に重点的に取り組んでいます。NVIDIA Researchのこれまでの取り組みはこちらからご覧いただけます。