AI を活用した画像生成は、指の多い人間の画像を作成してしまう初期のモデルから、今では写真のようにリアルなビジュアルを作成するようになるまで、目覚ましいスピードで進化しています。 このような飛躍があったとしても、クリエイティブコントロールの実現という課題が残っています。
テキストを使用したシーンの作成が簡単になり、複雑な説明はもう必要ありません。そして、プロンプトに対するモデルの整合性も改善されました。 しかし、構成、カメラ アングル、オブジェクトの配置などの細部をテキストだけで説明することは難しく、調整はさらに複雑です。 ControlNets を使用した高度なワークフロー（出力をより細かく制御することで画像生成を強化するツール）は解決策を提供しますが、複雑なセットアップのため、より広い範囲でのアクセスが制限されます。
これらの課題を克服し、高度な AI 機能に迅速にアクセスするために、NVIDIA は今年初めの CES 見本市で、RTX PC 向け 3D ガイド生成 AI 用の NVIDIA AI Blueprint を発表しました。 このサンプルワークフローには、完全な構成制御で画像の生成を開始するために必要なすべてが含まれています。 ユーザーは本日より新しい Blueprint をダウンロードできます。
3D を活用して AI 生成画像を制御する
3D ガイド生成 AI 用の NVIDIA AI Blueprintは、Blender のドラフト 3D シーンを使用して画像ジェネレーター (Black Forest Labs のFLUX.1-dev) の深度マップを提供することで画像生成を制御し、ユーザーのプロンプトに合わせて目的の画像を生成します。
深度マップにより、画像モデルがオブジェクトを配置すべき場所を理解するのに役立ちます。 この手法の利点は、非常に詳細なオブジェクトや高品質のテクスチャがグレースケールに変換されるため、これらを必要としないことです。 そして、シーンは 3D であるため、ユーザーは簡単にオブジェクトを動かし、カメラアングルを変更できます。
この Blueprint の中にあるのが、ComfyUI です。これは、クリエイターが面白い方法で生成 AI モデルを連結できる強力なツールです。 たとえば、ComfyUI Blender プラグインにより、Blender を ComfyUI に接続できます。 さらに、NVIDIA NIM マイクロサービスにより、ユーザーは FLUX.1-dev モデルをデプロイし、NVIDIA TensorRT ソフトウェア開発キットと、FP4 や FP8 などの最適化されたフォーマットを活用してGeForce RTX GPU 上で最高のパフォーマンスで実行できます。3D ガイド生成 AI 用の AI Blueprint には、NVIDIA GeForce RTX 4080 GPU 以上が必要です。
生成 AI ワークフロー向けの事前構築された基盤
3D ガイド付き生成 AI の Blueprint には、高度な画像生成ワークフローを開始するために必要なすべてが含まれています。Blender、ComfyUI、この2つを接続する Blender プラグイン、FLUX.1-dev NIM マイクロサービス、そしてそれを実行するために必要な ComfyUI ノードです。 AI アーティスト向けに、インストーラーと詳細なデプロイ手順も付属しています。
この Blueprint は、画像生成に取り組むための構造化された方法を提供し、特定のニーズに合わせてカスタマイズできる作業パイプラインを提供します。 段階的なドキュメント、サンプルアセット、事前設定環境により、創造的プロセスをより管理しやすくし、結果をより強力なものにする確実な基盤を提供します。
AI 開発者にとって、この Blueprint は、同様のパイプラインを構築したり、既存のパイプラインを拡張するための基礎としての機能を果たします。ターゲット コード、サンプル データ、ドキュメント、始めるための作業サンプルが付属しています。
RTX AI を活用したリアルタイム生成
AI Blueprintは、NVIDIA RTX AI PC とワークステーションで実行され、NVIDIA Blackwell アーキテクチャによる最近のパフォーマンスの飛躍的な向上を活用します。
3D ガイド生成 AI の Blueprint に含まれている FLUX.1-dev NIM マイクロサービスは、TensorRT で最適化され、Blackwell GPU 向けに FP4 精度で量子化されており、ネイティブ PyTorch FP16 と比較して 2 倍以上の推論速度を実現します。
NVIDIA Ada Lovelace 世代 GPU のユーザー向けの、FLUX.1-dev NIM マイクロサービスには、TensorRT によって高速化されたFP8 のバリアントが付属しています。 これらの改善により、高性能ワークフローがよりアクセスしやすくなり、迅速な反復と試行を実現します。 量子化機能により、より少ない VRAM でモデルを実行することもできます。 たとえば、FP4 では、FP16 と比較してモデルサイズが 2 倍以上削減されています。
RTX AI を使ってカスタマイズと作成
現在 RTX 用に 10 の NIM マイクロサービスが利用可能で、画像や言語生成から音声 AI やコンピューター ビジョンまで、さまざまなユースケースをサポートしています。今後さらに多くのプロトタイププランとサービスが追加されます。
https://build.nvidia.com/nvidia/genai-3d-guided で現在利用可能な AI Blueprintと NIM マイクロサービスは、RTX PC とワークステーションで生成 AI の作成、カスタマイズ、限界を押し広げる準備が整ったユーザーに強力な基盤を提供します。
RTX AI Garage ブログ シリーズでは、NIM マイクロサービスと AI Blueprint の詳細を知りたい方や、AI PC とワークステーションにおける AI エージェント、クリエイティブなワークフロー、デジタル ヒューマン、生産性アプリなどを構築する方向けにコミュニティ主導の AI イノベーションとコンテンツを紹介しています。
Facebook、Instagram、TikTok、X で、NVIDIA AI PC に接続し、RTX AI PC ニュースレターを購読すると最新情報を確認できます。
LinkedIn と X で NVIDIA Workstation をフォローしてください。
ソフトウェア製品情報に関するお知らせをご覧ください。