GauGAN とは?AI はどのように文字や画像を驚くべきアート作品に変換するのか

投稿者: Isha Salian

フォトリアルな画像生成のための AI デモ GauGAN では、敵対的生成ネットワークを使用して、誰でも素晴らしい風景を作り出すことができます。NVIDIA Research によって作成され、ポスト印象派の画家であるポール ゴーギャンにちなんで名付けられたこの AI デモは、NVIDIA AI Demos から無料で体験することができます。

GauGAN で制作するには

最新版のデモである GauGAN2 では、文字情報や手描きの絵のあらゆる組み合わせが、実物そっくりの画像へと変換されます。ユーザーが「山の手前にある湖」などのフレーズを入力し、ボタンを押すだけで、リアルタイムにシーンが生成されます。「『雪をかぶった』山の手前にある湖」や「山の手前にある『森』」のようにテキストを微調整すると、AI モデルが瞬時に画像を修正します。

自分でシーンを描きたい場合は、スマート ペイントブラシを使って、テキストから生成されたシーンを修正したり、ゼロから岩や木、ふわふわとした雲を描いたりすることが可能です。フィルターをクリックする (またはカスタム画像をアップロードする) と、さまざまなライティングを試したり、特定のペインティング スタイルを作品に適用したりすることができます。

GauGAN2 デモの背景にあるAI

GauGAN2 の中核をなすのは、Generative Adversarial Network (GAN) と呼ばれる、生成器と識別器の 2 つのニューラルネットワークを含むディープラーニング モデルです。生成器が合成画像を生成し、数百万枚に及ぶ実際の風景画像でトレーニングされた識別器が、生成された合成画像をよりリアルにするためのフィードバックを生成器ネットワークに画素単位で提供します。

AI が生成した湖に山が映り込んだり、「冬」という言葉で表示されたシーンで木々の葉が落ちたりと、時間が経つにつれて、GAN モデルは現実世界のような説得力のある画像を生成できるように学習していきます。

GauGAN2 のデモでユーザーがさっとスケッチをしたり、既存のシーンを修正したりする際には、セグメンテーション マップ (シーン内のオブジェクトの位置を記録するハイレベルなアウトライン) を使って作業します。それぞれの領域は砂、川、草、花などの特徴でラベル付けされており、AI モデルにシーンをどのように埋めるかの指示を与えます。

2019 年の NVIDIA GTC で初公開して以来、GauGAN は人気を博し続け、教育の場で美術教師に採用されたり、美術館でインタラクティブな美術展示として用いられたりなど、数百万人がオンラインで使用しています。

一流の映画スタジオやゲーム会社に在籍するアート ディレクターやコンセプト アーティストなど、アイデアをプロトタイプ化するツールとしてGauGAN はプロフェッショナルなクリエイターたちから注目されてきました。そこで、クリエイターの支援を目的としたプラットフォームである NVIDIA Studio が、デスクトップ アプリケーションを発表しました。それが NVIDIA Canvas です。

NVIDIA Canvas は、GauGAN の背景にあるテクノロジを Adobe Photoshop などの既存のツールと互換性のある形式でプロフェッショナルに提供します。アーティストは NVIDIA RTX GPU を使用して、よりスムーズでインタラクティブな体験をすることができます。

GauGAN の背景にある AI の詳細については、NVIDIA GTC無料登録し、日本時間 3 月 25 日 (金) 午前 2 時 から行われるセッション「Expressing Your Imagination with GauGAN2」 (GauGAN2 であなたの想像力を表現する) を視聴してください。

NVIDIA GTCは、3 月 21 日から 24 日までオンラインで開催されます。AI 研究の最新情報を知りたい方は、日本時間 3 月 23 日午前 0 時 (3 月 22 日から 23 日に変わる時刻) に行われるNVIDIA CEOのジェンスンフアンによる基調講演をご視聴ください。