広告

ComfyUI image2image(Krea 2 系モデル)

ComfyUI

画像を再加工も必要なので、image2image もやってみましょう。
今回のワークフローは前回の生成結果をもとに、画像をスケールアップする意図のものを作りますので、ワークフローも前回のものを拡張するものとします。
もちろん新規ワークフローを作成し、image2image 専用のものにしても問題ないと思います。

拡張機能 ComfyUI-WD14-Tagger

ComfyUI-WD14-Tagger は、ComfyUI に WD14 Tagger の機能を組み込むための最も標準的で人気のある「カスタムノード(拡張機能)」です。

インストール:

拡張機能 WAS Node Suite は ComfyUI-Easy-Use と競合するみたい、入れないこと

拡張機能 ComfyUI Latent Color Tools

ComfyUI Latent Color Tools は、ComfyUI で使う 色調整・色合わせ系のカスタム拡張 です。
主に、生成画像や latent の色味を補正・統一するためのノード群を提供します。

場面 目的
img2img 元画像の雰囲気を残しつつ色を調整
参照画像あり生成 参考画像に近い色にする
複数枚の整合性 作品群の色味を揃える
色が浮くとき 不自然な色ズレを抑える

インストール:

拡張機能 Rebalance Pack

Conditioning Krea2 Rebalance ノードが使えるようになります。

インストール:

ノードの説明

Fast Groups Bypasser (拡張機能 rgthree)

  • ワークフロー上で特定のグループ単位のON/OFF(バイパス状態)を1クリックで切り替えるためのカスタムノード

easy positive(拡張機能 ComfyUI-Easy-Use)

  • プロンプトを文字列形式で出力する場合、これを使います
    • CLIP Text Encode (Prompt) の出力はエンコードしものなので、文字列ではないです
    • 今回解析したプロンプトと最初のプロンプトを結合して使う必要があるので、
    • 「easy positive」 → 「CLIP Text Encode (Prompt)」の形でプロンプト入力ノードを変更する

WD14 Tagger(拡張機能 ComfyUI-WD14-Tagger)

画像から画像への生成(i2i: image-to-image)や、追加学習(LoRA)用のデータセット(教師画像)に一括でタグ付けを行う際によく利用されます。
画像から画像へ生成する際に、詳細を補足に使います。

  • 「入力した画像から、そこに含まれる要素を分析して Danbooru スタイルの英語タグ(プロンプト)を自動生成する」ためのカスタムノード(拡張機能
  • model
    • 解析に使用する AI モデル
    • wd-v1-4-moat-tagger-v2 または wd-tagger-v3 シリーズ: 迷ったらこれ。イラストの認識精度が非常に高く、現在の主流
    • wd-v1-4-convnext-v2: 比較的軽量でバランスが良いモデル
    • threshold(しきい値)
    • タグ出力の基準となる信頼度(値を下げると大量に検出し、上げると厳選されます)
    • 下げる(例: 0.15 ~ 0.25): 合格ラインが下がるため、背景の細かい小物や、自信のない要素まで大量にタグを拾い上げます(LoRA学習用におすすめ)
    • 上げる(例: 0.50 ~ 0.60): 合格ラインが上がるため、確実に写っているメインの要素だけを厳選して出力します(i2iのプロンプト用におすすめ)
    • character_threshold
    • キャラクター名特定の専用しきい値
    • 誤判定を防ぐために初期値が高め(厳しめ)になっています。もし有名な既存キャラなのに名前が検出されない場合は、この数値を少し下げてみてください
    • replace_underscore (アンダースコアの置換 / 初期値: true)
    • 「blue_eyes」のように単語がアンダースコアで繋がっている場合、 true(オン)にすると「blue eyes」のように半角スペースに自動変換してくれる
    • Stable Diffusion等のプロンプトとして使う場合は ON(true) のままがおすすめ
    • exclude_tags (除外タグ)
    • 出力したくないタグ(禁止ワード)をカンマ区切りで入力する
    • 例えば、評価基準を表すメタ タグ(masterpiece や best quality など)を拾ってほしくない場合に指定する

easy promptConcat(拡張機能 ComfyUI-Easy-Use)

「Text Concatenate(文字列結合)」とは、複数の文字列、数値、またはフィールドのデータを1つにつなぎ合わせるノード

  • prompt1,prompt2
    • プロンプトを結合させる
    • prompt1
    • text2image ワークフローの最初のプロンプト文字列と接続
    • prompt2
    • WD14 Tagger と接続
  • separator(セパレーター)
    • 指定しなくても基本問題ない、必要な時に指定
    • テキスト同士をどのような文字で繋ぐかを指定します。
    • 選択肢の例:
    • comma(カンマ , で区切る ※プロンプト結合で最も一般的)
    • space(半角スペースで区切る)
    • new line(改行して区切る)
    • none(何も挟まずにそのまま結合する)

画像を総ピクセルにスケール(Image Scale To Total Pixels)

画像の大きさを「総画素数(ピクセル全体の合計)」を指定して変更するノード

  • image
    • サイズを変更したい元画像をここに繋ぐ
  • upscale_method
    • 画像の補正アルゴリズムを選ぶ
    • nearest:くっきり
    • bilinear / bicubic:滑らか
    • lanczos:高画質 ← ※ こっちにする
  • megapixels
    • 目標とする総画素数(1.0 = 100万画素)を入力
  • 解像度ステップ
    • 総ピクセル数の計算や丸めを、どの単位で区切るか
    • Stable Diffusion 系では、画像サイズが 8 の倍数 などである必要があることが多い
    • 8: よくある基本値
    • 16: 少し安全 ← ※ こっちにする
    • 64: かなり大きめの丸め

Latent Color Match(Sample)(拡張機能 ComfyUI Latent Color Tools)

Latent Color Match (Sample) は、生成に使う latent の色味を、別の latent に近づけるためのノード。簡単に言うと、色彩をベースの画像に寄せるためのノード。

  • talent
    • image2image の K sampler の出力と接続
  • reference
    • text2image の最初に生成したベースイメージの K sampler の出力と接続
  • method
    • channel_wise で問題ない
  • strength
    • 小さいと少しだけ補正、大きいとかなり強く寄せます
    • 大きすぎると、画像がくっきり過ぎて、逆に変になる
    • 目安:0.25
  • device
    • auto で問題ない

K サンプラー(K Sampler)※ image2image 引数指定

  • step 数は text2image より少なくて大丈夫
    • 目安:6~8
  • sampler
    • euler
  • スケジューラ
    • simple
  • ノイズ除去:
    • 目安:0.3~0.6
    • 1.0 にしてしまうと、図が完全に別物になってしまう
    • 注意:Inpaint 後の画風を Inpaint 用のモデルに合わせたい場合、高めに設定するとよい

Image Comparer (拡張機能 rgthree)

画像を比較するノード

  • 比較する 2 つの画像出力を繋ぐことで、出力結果の比較を確認できる

Conditioning Krea2 Rebalance(拡張機能 Rebalance Pack)

  • ※ 効果があるが、明らかな変化ではないので、使わなくてもいいかも? (Krea 2 専用)

Krea 2のAIモデルには、不適切な画像を作らせないための制限(セーフティフィルター)が組み込まれています。この制限は、AIの内部にある「特定のレイヤー(層)」に強く効いています。
「Conditioning Krea2 Rebalance」ノードは、レイヤーごとの強さを自由に変えられる機能(ボリュームつまみ)を持っています。
そのため、「フィルターが強くかかっているレイヤーのボリュームを下げて、別のレイヤーのボリュームを上げる」という裏ワザ的な調整をすることで、結果的に多少制限をすり抜けることが可能になるので、作画が少し自由になります。

LoRA ローダーモデルのみ(Load LoRA)

  • このノードはチェーン接続に対応しており、複数の Load LoRA ノードを直列に接続することで、複数の LoRA モデルを同時に適用できされる
  • 拡散モデル読み込み(UNet Loader/Load Diffusion Model) と K sampler の間にこのノードを入れると、LoRA モデルが適用される
  • LoRA のダウンロードは後述の Lora についての部分で、確認可能
  • LoRA のモデルを適用するには、特定のキーワードをプロンプトに入れる必要があるので、それぞれの LoRA の説明を読もう
  • 新規 LoRA 入れたら、ComfyUI を再起動すると選択できるようになる
  • Inpainting にのみ使う場合、スタイルを LoRA からの影響はかぎられているので、画像生成時から LoRA を使いましょう

※ 「LoRA 読み込み」ノードも存在しますが、CLIP が必須になります。

Lora について

LoRA(Low-Rank Adaptation:低ランク適応) は、Stable Diffusion などの大規模生成モデルを微調整するための効率的な手法です。
事前に学習済みのモデルに、学習可能な低ランク行列を導入することで、モデル全体の再学習ではなく、一部のパラメータのみを調整し、特定のタスクに対する最適化を、比較的低い計算コストで実現します。
SD1.5 などのベースモデルと比較して、LoRA モデルはファイルサイズが小さく、学習も容易です。
https://docs.comfy.org/ja/tutorials/basic/lora#comfyui-lora

Lora ダウンロード先(Comfy 公式):https://docs.comfy.org/ja/tutorials/image/krea/krea-2#%E3%82%B9%E3%82%BF%E3%82%A4%E3%83%ABlora

  • ダウンロードした LoRA モデルは ComfyUI/models/loras フォルダー内に保存
    • ここから関連ディレクトリにアクセスできる

おすすめ LoRA

ワークフロー

トラブル

競合

拡張機能 WAS Node Suite を追加で入れたら、easy use の拡張機能と競合し、警告が表示されました。
一旦 拡張機能 WAS Node Suite のフォルダ(ComfyUI の custom node フォルダにある)を削除して、拡張機能の管理にて、easy use を無効化します。
ComfyUI が再起動後、easy use を選択して、アンインストールして、再インストールします。

Krea 2 ネガティブ プロンプトあんまり効かない

Krea 2(Qwen3-VL-4Bベース)のアーキテクチャの構造上、従来のSD1.5やSDXLのようにネガティブプロンプトが強く効かない仕様になっているらしい。なので、基本ポジティブのみで対応すべき。

コメント

タイトルとURLをコピーしました