ComfyUI は、Stable Diffusion などの画像・動画生成 AI をノードベースのグラフィカル インターフェースで操作できる無料のオープンソース ソフトウェアです。
動画生成などでよく使われているらしいので、今回から遊んでいきたいと思います。
自分のメモでも利用できるよう、できるだけわかりやすくまとめていきます。
まず、今回はこのツールの導入方法についてからです。
インストール
ComfyUI はオープンソースのソフトウェアで、ソースコードは GitHub で公開されています。
GitHub ソースコード
ただ、今となって、すでにアプリとして簡単にインストールできるようになっています。
上記ソースコードの「Installing」セクションにインストーラのリンクが載ってありますので、ここでは割愛いたします。
※「Run on your hardware.Free forever.」と書かれていますので、無料で使い続けられますね。
インストール手順
以下で画像付きで、インストールの流れを書いていきます。
-
インストーラを実行して、指示通りにインストールします。※ 自分の環境は管理者でインストールしています。
-
インストールが完了し、アプリを起動すると、以下が画面が表示されます。今回はローカルのグラフィックボードを使って画像を生成していきたいので、赤枠で囲んでいる選択しを選択して、「continue」をクリックします。
-
すると、インストールの設定情報が表示されます。インスタンス名は任意で問題ないので、一旦 ComfyUI そのままにしています。ローカルの場合、詳細設定も特にいじる必要ないので、このまま「Continue」をクリックします。※ 複数インスタンスも作成できますので、用途別で作成するのもあり。
-
次の画面で、モデルを一つ選択して開始できますので、一旦最近はやりのモデルを選択して、「install」をクリックします。※ モデルもダウンロードしてくれるので、時間がかかります。もしほしいモデルが出てこない場合、一旦 skip でも問題ありません。
-
色々と初回起動の準備をしてくれます。
-
準備が完了したら、先ほど選択したモデル テンプレートの動画作成ワークフローが表示されます。
-
そのまま「実行」を押すと、最初の動画を作成できます。これで動画を作成することができるようになりました！（パチパチ）
-
動画生成の詳細や時間は左下のコマンドラインのようなボタンで確認できます。この5秒の動画が５分もかかりましたね。。。速度上げの拡張機能などもあるらしいので、今後試していきましょう。
テンプレート検索
モデル テンプレート選択を skip した場合、インスタンス作成後、最初にテンプレート選択の画面が表示されますので、好きなモデルを検索して導入できます。
- テンプレート タグで検索できます。
- テンプレート選択したら、最初はモデルがダウンロードしていないので、エラーが表示されます。「詳細を表示」をクリックして、詳細が表示されます。
- エラーの内容から、問題の箇所や対処方法を確認できますので、確認しましょう。
Appendix
以前 Stable Diffusion で言及したキーワードはこちらでも通用しますので、Appendix として残しておきます。
モデル ファイル名について
- fp16：半精度版
- おすすめ VRAM：16GB
- LoRA多用なら fp8 → 16GB
- fp8：軽量・低VRAM救済版
- おすすめ VRAM：8GB/12GB
- int8：「超・軽量化（超・量子化）モデル」
- fp8 よりもさらに極限までファイルサイズを削り、消費メモリ（VRAM）を徹底的に抑えたモデル
最後に
今回は入門の中の入門になるので、動画を作るのは楽しそうなので、今後時間あるとき色々試してみたいと思います。
（グラフィック ボードをもっといいのを買ったらよかったな、、、今めっちゃ値上げしてます）
コメント