ComfyUI は、コンテンツ制作用の生成 AI ワークフローを実行および構築するためのオープンソースのノードベースのグラフィカル インターフェイスです。この 1 か月間、NVIDIA RTX GPU のパフォーマンスが最大 40% 向上したほか、Wan 2.2、Qwen-Image、FLUX.1 Krea [dev]、Hunyuan3D 2.1 などの新しい AI モデルのサポートも含む、大規模なアップデートがリリースされました。
NVIDIA は、Stable Diffusion 3.5 や FLUX.1 Kontext などの人気の拡散モデルの NVIDIA TensorRT に最適化されたバージョンも、NVIDIA NIM マイクロサービスとしてリリースしました。これにより、ユーザーは ComfyUI でこれらのモデルを最大 3 倍高速で、かつVRAM を 50% 削減して実行できます。
さらに、MOD 制作者が名作ゲームをリマスターできるプラットフォームである NVIDIA RTX Remix のアップデートが本日リリースされ、名作タイトルに新たな命を吹き込む、驚くべきビジュアルを提供する高度なパス トレーシング パーティクル システムが追加されました。
ComfyUI v3.57 が RTX によりパフォーマンスを大幅向上
NVIDIA は ComfyUI と協力し、AI モデルのパフォーマンスを最大 40% 向上させました。 これを広い視野で見てみましょう。GPU の世代毎のアップグレードでは、通常 20～30% のパフォーマンス向上しか得られません。
アプリでの拡散モデルのパフォーマンスと効率を最適化することに関心のある開発者向けに、NVIDIA がどのようにワークロードの高速化を支援しているかについて、開発者フォーラムより詳しくご覧いただけます。
最先端の AI モデル、RTX による高速化
ここ数週間で、AI コンテンツ作成用の素晴らしいモデルがリリースされており、そのすべてが ComfyUI で利用可能になりました。
Wan 2.2 は、PC での動画生成の品質と制御性を提供する新しいビデオ モデルです。 クリエイティブな AI プラットフォームである Wan AI の最新モデルです。Wan AI は、テキストから画像、テキストから動画、画像から動画、音声から動画など、優れた AI モデルをラインナップで提供しています。 GeForce RTX および NVIDIA RTX PRO GPU は、ComfyUI で Wan 2.2 14B モデルを出力に大きな遅延を与えることなく実行できる唯一の GPU です。 以下の例では、単一のプロンプトで作成されました。「ロボットが卵を割っているが、誤ってボウルの外に落としてしまう」
Qwen-Image は、Alibaba の新しい画像生成基盤モデルです。複雑なテキスト レンダリングと正確な画像編集の性能を大幅に向上させています。 複雑なテキストのレンダリング、複雑な編集作業を処理し、生成された画像の意味的および視覚的な正確性を維持します。このモデルは、GeForce RTX 5090 上では Apple M3 Ultra と比較して 7 倍高速に動作します。
Black Forest Labs の新しい FLUX.1 Krea [dev] AI モデルは、Krea 1 のオープンウェイト バージョンです。強力なパフォーマンスを提供し、過剰に飽和したテクスチャを含まない、よりリアルで多様な画像を生成するように訓練されています。Black Forest Labs はこのモデルを「特定の視点を持つ」モデルと呼んでいます。多様で視覚的に興味深い画像を生成できるためです。このモデルは、GeForce RTX 5090 上では Apple M3 Ultra と比較して 8 倍高速に動作します。
高度なビジュアル生成技術を活用しよう
ビジュアル生成 AI は強力なツールですが、技術的な専門家にとっても始めるのが困難な場合があり、より高度な技術の活用法を学ぶには通常、数か月かかります。
ComfyUI は、異なる生成プロセス間での特徴の一貫性の維持、画像の光の調整、微調整の読み込みなど、特定のタスクを実現するテンプレートや事前設定されたノードを提供することで、高度なワークフローを簡単に開始できます。これにより、技術的な知識がないアーティストでも、高度な AI ワークフローを簡単に使用できます。
以下は、生成 AI を始めるための 10 個の重要な手法です。
- 開始フレームと終了フレームを定義し、ビデオ生成をガイドする: 開始フレームと終了フレーム、ビデオクリップの始まり方と終わり方をアップロードしましょう。 Wan 2.2 は、スムーズでアニメーション化された遷移を生成し、間のフレームを補完することで、一貫性のあるアニメーションを作成します。 アニメーションの制作、シーンの移行、ポーズの定義に最適です。
- 自然言語で画像を編集する: FLUX.1 [dev] KONTEXT を使用して、画像の特定のテキストセクションを編集できます。
- 画像やビデオのアップスケール: 低解像度で撮影された画像やビデオに対し、リアルで自然なディテールを追加することで、解像度とディテール品質を向上させましょう。
- 領域の構成を制御: 画像の特定の領域内のビジュアル要素の配置とレイアウトを制御することで、画像生成をより細かく制御できます。
- 画像の再構築: FLUX Redux を使用すると、中核となるビジュアル要素とディテールを維持しながら、画像の様々なバリエーションを作成できます。
- image-to-multiview-to-3D モデルを活用する: 異なるアングルから撮影されたオブジェクトの画像を複数利用して、高忠実度のテクスチャ化された 3D モデルを作成しましょう。
- 音声をビデオに変換: 会話、音楽、環境音などの音声入力から直接ビデオ クリップやアニメーションを作成します。
- ビデオ内の移動軌跡を制御: ビデオ内のオブジェクト、カメラ、シーンの動きを自動的にガイドします。
- インペインティングによる画像編集: デジタル画像の欠損部分や不要な部分を、視覚的にシームレスで、周囲の領域と整合性のある方法で埋め込みや変更ができます。
- アウトペインティングでキャンバスを拡張: 新しい画像コンテンツを生成して、既存の画像や映像の境界を拡張したり、トリミングされたセクションにディテールを追加したり、シーンを完成させたりできます。
X で ComfyUI をフォローして、クリエイティブなテンプレートとワークフローの更新情報をご確認ください。
ComfyUI ゾーンを拡張
ComfyUI プラグインにより、ユーザーは既存のアプリケーションに生成 AI ワークフローを追加できます。 ComfyUI コミュニティは、一部の人気クリエイティブ アプリケーション用に、プラグインの構築を開始しました。
Adobe Photoshop プラグインは、Photoshop のネイティブ Firefly モデルを補完するもので、ユーザーが自分のフローを実行し、特定のタスクに必要なモデルを選択できます。 ローカル環境での推論ならば、低遅延かつ無制限の生成塗りつぶしが可能になります。
3D ガイド付き生成 AI 用の NVIDIA AI Blueprint に搭載されている Blender プラグインにより、ユーザーは 2D と 3D のワークフローを連携できます。 アーティストは、ComfyUI で 3D シーンを活用した画像生成の制御やテクスチャ作成が可能になるほか、それらを別々の 3D アセットに適用することもできます。
Foundry Nuke プラグインは Blender に似ており、2D と 3D のワークフローを接続できます。そのため、ユーザーは Alt + Tab キーを押してアプリケーションを切り替える必要がなくなります。
Unreal Engine プラグインにより、Unreal Engine のユーザー インターフェイスで ComfyUI のノードが直接利用できるようになり、生成拡散モデルを使用してシーンのテクスチャを迅速に作成および調整できます。 以下の例をご覧ください。
ComfyUI で NVIDIA RTX GPU 向けに超最適化されたモデルを実行
NVIDIA RTX GPU を使用する最良の方法は、TensorRT ライブラリを活用することです。TensorRT ライブラリは、NVIDIA RTX GPU の Tensor コアから最大速度を絞り出すように設計された、高性能のディープラーニング推論エンジンです。
NVIDIA は、世界有数の AI ラボと協力し、Black Forest Labs のモデルや Stability AI のモデルなど、それぞれのモデルに TensorRT を統合しています。 また、量子化モデルも利用できます。こちらは、ネットワークの圧縮バージョンであり、VRAM 使用量を 50～70% 削減しつつ同様の品質を維持しており、最大 2 倍高速な推論を実現します。
TensorRT に最適化されたモデルは、TensorRT ノードを通じて、ComfyUI 内で直接実行できます。TensorRT ノードは、現在 SDXL、SD3、SD3.5、FLUX.1-dev と FLUX.1-schnell モデルをサポートしています。 ノードは、AI モデルを TensorRT に最適化されたモデルに変換し、ユーザーの GPU 向けに TensorRT に最適化されたエンジン (特定のハードウェアに最適な効率でモデルを実行する方法のマップ) を生成し、高速化を実現します。
ただし、モデルを量子化するには、もう少し作業が必要です。 量子化されたモデルや TensorRT に最適化されたモデルを実行したいユーザー向けに、NVIDIA は事前設定されたファイルを NIM マイクロサービスと呼ばれるシンプルなコンテナで提供しています。ユーザーは ComfyUI の NIM ノードを使用してこれらのコンテナを読み込み、FLUX.1-dev, FLUX.1-schnell, FLUX.1 Kontext, SD3.5 Large や Microsoft TRELLIS などのモデルの量子化済みバージョンを使用できます。
Remix にアップデートでパス トレーシングされたパーティクル システムを追加
新しい RTX Remix アップデートが本日 NVIDIA アプリを通じてリリースされ、MOD 制作者が従来の炎や煙の効果を強化できるほか、ビデオ ゲーム『Portal』のような、より幻想的なエフェクトも実現できる高度なパーティクル システムを追加しました。
RTX Remix では、名作ゲームの旧来のパーティクルをパス トレーシングとして解釈し、リアルな光を投影させることで、多くのシーンの見た目を強化することができます。 しかし、結局のところ、こういったパーティクルは 20 年以上前のものなので、ディテール、華やかさ、滑らかなアニメーションが欠けています。
RTX Remix の新しいパーティクルは、物理的に正確なプロパティを持ち、ゲームの照明やその他のエフェクトと相互作用します。 これにより、パーティクルの衝突、風などの力に反応した正確な移動、表面への反射、影の投影、独自の影の割り当てが可能になります。
新しいパーティクル システムの詳細については、GeForce の記事をご覧ください。
RTX AI Garage ブログ シリーズでは、NVIDIA NIM マイクロサービスと AI Blueprint について詳しく知りたい方や、AI PC とワークステーションで AI エージェント、クリエイティブなワークフロー、生産性アプリなどを構築する方向けに、コミュニティ主導の AI イノベーションとコンテンツを紹介しています。
Facebook、Instagram、TikTok、X で NVIDIA AI PC をフォローし、RTX AI PC ニュースレターを購読して、最新情報を入手しましょう。 NVIDIA の Discord サーバーに参加してコミュニティの開発者や AI 愛好者とつながり、RTX AI の可能性について話し合いましょう。
LinkedIn と X で NVIDIA Workstation をフォローしてください。
ソフトウェア製品情報に関するお知らせをご覧ください。