データ拡張手法により、メトロポリタン美術館の小規模なデータセットからアートワークを模倣する AI モデルを可能にし、またヘルスケアなどの分野での新たなアプリケーションの可能性を切り開く

NVIDIA Research の最新の AI モデルが、敵対的生成ネットワーク (GAN) のなかで驚くべき能力を発揮しています。典型的な GAN が必要とする学習素材のほんの一部を使って、この AI モデルは、著名な画家を模倣したり、がん組織の画像を再現したりといった複雑なスキルも学ぶことができます。

画期的なニューラルネットワークのトレーニング手法を人気の NVIDIA StyleGAN2 モデルに適用することで、NVIDIA の研究者たちは、メトロポリタン美術館の 1,500 枚にも満たない画像をもとにして芸術作品を再構成しました。トレーニングを加速する NVIDIA DGX システム を使い、研究者たちは歴史的な肖像画を参考に、新しい AI 作品を生成したのです。

ADA (adaptive discriminator augmentation) と呼ばれるこの手法は、トレーニング用の画像の数を 10 分の 1 から 20 分の 1 に減らしながらも、優れた成果を得ることができます。この方法は、いつの日か、ヘルスケアにも大きく貢献する可能性があります。たとえば、がん組織の画像を作成して、それを他の AI モデルのトレーニングに活用できるようになるかもしれません。

NVIDIA のグラフィックス リサーチ担当バイスプレジデントのデイビット ルーブキー (David Luebke) は、次のように述べています。「これらの成果は、膨大な量のデータを得るのに時間がかかりすぎる場合、あるいはこのようなデータの入手が困難な場合でも、GAN を使って課題に取り組めることを示しています。芸術家や医療の専門家、研究者が、この手法を何に使用するかを見るのが待ち遠しいです」

このプロジェクトの内容を記した研究論文が今週の Conference on Neural Information Processing Systems (NeurIPS) で発表されます。この研究論文は、この栄誉ある会議で採択された、NVIDIA Research の 28 の研究論文の 1 つであり、この論文採択数は新記録となっています。

この新しい方法は、NVIDIA の研究者たちによって受け継がれてきた GAN イノベーションの最新のものであり、研究者たちは、GAN を活用する画期的なモデルを開発し、AI ペイント アプリの GauGAN、ゲームエンジンを模倣する GameGAN、ならびにペットの写真を変形する GANimal を生み出しました。これらはすべて、NVIDIA AI Playground で利用できます。

トレーニング データのジレンマ

多くのニューラルネットワークと同じように、GAN は長きに渡り、トレーニング データが多いほどモデルが良くなる、という基本原則に従ってきました。これは、GAN が合成画像を作成する生成ネットワークと、トレーニング データに基づいて本物の画像がどのように見えるのかを学ぶ識別ネットワークという、2 つのセットになったネットワークで構成されているからです。

識別ネットワークは生成ネットワークのコーチ役で、ピクセルごとにフィードバックを送り、生成ネットワークが合成画像のリアルさを向上できるようにします。しかし、学習の基となるトレーニング データが限られていると、識別ネットワークは、ベテランのコーチより経験がはるかに少ない新米コーチのように、生成ネットワークの能力を十分に発揮させることができなくなります。

高品質な GAN をトレーニングするには、通常は 5 万枚から 10 万枚のトレーニング用の画像が必要となります。しかし、多くの場合、研究者が数万枚または数十万枚のサンプル画像を自由に使えることはほとんどありえません。

トレーニング用の画像がわずか 2,000 枚程度の場合、多くの GANは実用的な成果を上げることができません。オーバーフィッティングと呼ばれるこの問題は、識別ネットワークがトレーニング用の画像を記憶するだけになり、生成ネットワークに有益なフィードバックを提供できないときに起こります。

画像識別のタスクでは、研究者はデータ拡張という手法を使ってオーバーフィッティングを回避しています。この手法は、回転、トリミングあるいは反転といった処理でランダムに改変した既存の画像のコピーを使って、小規模なデータセットを拡張し、モデルをより一般化させます。

しかし、GAN のトレーニング画像にデータ拡張を適用してきたこれまでの試みでは、生成ネットワークが真実味のある合成画像を作らずに、これらの改変を模倣するように学んでいました。

GAN の使命

NVIDIA Research の ADA 手法では、適応的にデータ拡張を適用します。つまり、オーバーフィッティングを回避するために、トレーニング プロセスの異なるポイントでデータ拡張の量を調整しているのです。これによって、StyleGAN2 をはじめとするさまざまなモデルが、桁違いに少ないトレーニング用画像を使って、同じように驚異的な成果を出すことができます。

その結果、研究者たちは、サンプルがあまりに不足していたり、あるいは入手困難であったり、もしくは大規模なデータセットを収集するのに時間がかかりすぎるたりするような、これまでは非現実的であったアプリケーションにも GAN を適用できるようになります。

アーティストたちは、StyleGAN のさまざまなエディションを使って驚異的な作品を公開し、伝説の漫画家、手塚治虫のスタイルをもとに新しい漫画を制作しています。この手法は Adobe にも採用されており、Photoshop の新しい AI ツール、ニューラルフィルターにも実装されています。

トレーニング データが少なくて済むため、ADA と StyleGAN2 の組み合わせは、パリの AI アート グループ Obvious がアフリカのコタ族のマスクを題材にした作品のような、稀少な芸術作品にも応用できるでしょう。

他方ではヘルスケア分野での利用も期待されます。検査結果のほとんどは正常と判断されるため、希少疾患の医用画像はほとんどありません。異常のある病理学的スライドの有用なデータセットを集めるには、医療専門家が長い時間をかけて、骨の折れるラベル付けの作業をする必要がありました。

ADA を使った GAN によって作成された合成画像であれば、この時間が短縮可能で、別の AI モデルのためにトレーニング データを作成すれば、病理学者または放射線科医が病理画像や MRI から珍しい症状を発見できるようになります。さらに、こんなメリットもあります。AI が生成したデータには、患者のデータあるいはプライバシーについての懸念がないため、医療機関が簡単にデータセットを共有できるようになります。

NeurIPS での NVIDIA Research

NVIDIA Research チームは、全世界の 200 人以上の科学者で構成されており、AI やコンピュータ ビジョン、自動運転車、ロボティクス、グラフィックスなどの分野を専門としています。12 月 6 日から 12 日まで、バーチャルで開催される、本年最大の AI 研究会議、NeurIPS では、NVIDIA の研究者が執筆した、20 を越える論文が紹介されます。

NeurIPS で発表されたNVIDIA Researchの論文のすべてのリストをぜひご覧ください。

※メイン画像は、ADA を使用し、StyleGAN2 で生成した、メトロポリタン美術館のコレクション API にある、1,500 枚にも満たないデータセットでトレーニングされたものです。