【初心者向け】Stable Diffusion 3 MediumをComfyUIで使って高品質な画像を生成する方法

チュートリアル
2024.06.13

はじめに

Stable Diffusion 3 Mediumは、テキストから画像を生成するための高性能なモデルです。画質、タイポグラフィ、複雑なプロンプトの理解、リソース効率が大幅に向上しています。

一方、ComfyUIは、Stable Diffusionのためのパワフルでモジュール化されたGUIおよびバックエンドです。グラフやノードを使ってワークフローを設計・実行できます。

この記事では、Stable Diffusion 3 MediumとComfyUIを組み合わせて、高品質な画像を生成する方法を初心者向けに解説します。

Stable Diffusion 3 Mediumとは

Stable Diffusion 3 Mediumは、Stability AI社が開発したMultimodal Diffusion Transformer (MMDiT) テキスト・トゥ・イメージのモデルです。主な特徴は以下の通りです。

  • 画質、タイポグラフィ、複雑なプロンプトの理解、リソース効率が大幅に向上
  • 非商用の研究目的であれば無料で利用可能（商用利用にはライセンスが必要）
  • 10億枚の画像で事前学習され、3000万枚の高品質な画像で追加学習されている
Stable Diffusion 3 Mediumが登場！AIイメージ生成の新たな時代へ
こんにちは！今回は、Stability AIから発表された最新のテキスト・トゥ・イメージAIモデル「Stable Diffusion 3 Medium」についてご紹介します。このモデルは、より高品質な画像生成を可能にし、一般の方でも簡単に利...
hamaruki.com
2024.06.12

ComfyUIとは

ComfyUIは、Stable Diffusionのためのオープンソースのユーザーインターフェースです。主な特徴は以下の通りです。

  • グラフやノードを使ってワークフローを設計・実行できる
  • SD1.x、SD2.x、SDXL、Stable Video Diffusion、Stable Cascade、SD3に完全対応
  • 非同期キューシステムを備えている
  • 低VRAMのGPUでも動作可能（--lowvramオプション）
  • GPUがなくてもCPUで動作可能（--cpuオプション）
GitHub - comfyanonymous/ComfyUI: The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface.
The most powerful and modular diffusion model GUI, api and backend with a graph/nodes interface. - comfyanonymous/ComfyU...
github.com

Stable Diffusion 3のインストール方法

まずはStable Diffusion 3 Mediumのモデルをダウンロードします。以下のコマンドを実行してください。

git lfs install
git clone https://huggingface.co/stabilityai/stable-diffusion-3-medium
cd stable-diffusion-3-medium
git lfs pull

これで、必要なファイルが一式ダウンロードされます。

ComfyUIのインストール方法

次にComfyUIをインストールします。Windows用のポータブル版を使うのが簡単です。

Windows用のポータブル版をダウンロード

file

ダウンロードしたZIPファイルを7-Zipなどで解凍

圧縮・解凍ソフト 7-Zip
圧縮・解凍ソフト7-Zipは、7z、ZIP、RAR、LZH、ISO、TAR、DMG、MSIなど、さまざまなデータフォーマットに1つで対応している世界的にデファクトのフリーソフトウェアです。AES256による暗号化（パスワード圧縮および解凍）...
7-zip.opensource.jp

run_nvidia_gpu.batを実行

これでComfyUIのインストールと起動が完了します。

モデルの配置

ダウンロードしたStable Diffusion 3のモデルを、以下のフォルダに配置します。

  • CLIPモデル: ComfyUI\models\clip
  • Checkpointモデル: ComfyUI\models\checkpoints

具体的には以下のようなパスになります。

C:\Users\{ユーザー名}\Downloads\new_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\models\clip
C:\Users\{ユーザー名}\Downloads\new_ComfyUI_windows_portable_nvidia_cu121_or_cpu\ComfyUI_windows_portable\ComfyUI\models\checkpoints

ワークフローの読み込み

Stable Diffusion 3には、いくつかのサンプルワークフローが付属しています。

  • sd3_medium_example_workflow_basic.json
  • sd3_medium_example_workflow_multi_prompt.json

これらのJSONファイルをComfyUIにドラッグ＆ドロップすることで、ワークフローを読み込むことができます。

sd3_medium_example_workflow_basic

sd3_medium_example_workflow_multi_prompt

画像の生成

ワークフローを読み込んだら、以下の手順で画像を生成します。

  1. 「Prompt」ノードをダブルクリックし、プロンプトを入力
  2. 必要に応じて「Negative Prompt」や「Latent」ノードを調整
  3. Ctrl+Enterを押して画像生成をキューに追加
  4. 画像が生成されるのを待つ

以上で、Stable Diffusion 3とComfyUIを使った画像生成の基本的な流れは完了です。

さいごに

Stable Diffusion 3 MediumとComfyUIを組み合わせることで、高品質な画像生成を簡単に行うことができます。初心者の方でも、この記事を参考にして挑戦してみてください。

ワークフローを工夫することで、さらに創造性あふれる画像を生成できるはずです。みなさんのご活躍を期待しています！

コメント

タイトルとURLをコピーしました