[Stable diffusion] ControlNet 新機能 reference_only

対応バージョン

ControlNet v1.1.154 以降

shuffle との違い

• shuffle：髪型と服装、背景の質感を重点としているらしい。全体的な拘束力は弱い
• reference_only：首から上を強く継承する特徴がある。
  • 髪色、目の色などキャラクターの特徴を強く継承する

拡張機能との組み合わせ

Tagger と組み合わせて使用すると、ほぼ同じキャラを制限できる

使い方

• ControlNet の設定

  • 有効
  • Preprocesor にて、reference_only を選択
  • キャラの首から上の部分が含まれる画像をアップロード
    

• Prompt にキーワードを入力する

  • Prompt：masterpiece,high_quality,1girl
  • Negative：(worst quality:1.4),(low quality:1.4),(EasyNegative:1.2),(bad hand:1.4),

• 生成結果：
  

※ キャラの頭部のみ参照させる場合、生首の画像がいいです。全身像や背景まで含まれると、生成結果の服と背景にも影響するので、注意してくださいね。

Tagger

Tager は 「img2img」 の 「interrogate deepbooru」の高級バージョンと考えていただければと思います。
画像を分析して、Prompt を出力してくれます。

• 「WD 1.4 Tagger」をインストールします。
  • 「Extentions」タブにて、「Load from」をクリックします
  • 「Search」欄で、「Tagger」を入力します
  • 表示された「WD 1.4 Tagger」の右側にある「install」をクリックします
    
• インストール完了後、SD を再起動します。

Tagger の使い方

Tagger タブにて、画像をアップロードして、「Interrogate」をクリックするだけです。

生成した Prompt をベースに修正しながら、reference_only を合わせて使用すると、キャラを維持しながら、色々弄れます。

Reference_only の複数画像参照

首以上の部分と衣装を参照することで、キャラに好きな衣装を着せられることができます。

control net 複数参照可能にする設定

• 設定箇所
  • 「Settings」→「ControlNet」→「Multi ControlNet: Max models amount (requires restart)」→「Apply Settings」
• 推奨値：３
• SD の再起動が必要
  

設定して、再起動後：

使い方

キャラに指定の服を着せる（例）

• １枚目：キャラの生首
  
• ２枚目：首のない服装の画像
  
• ３枚目：openpose でポーズ固定にできるが、今回は入れない
• Prompt
  • 上記 Tagger で生成したものをキャラ特徴の部分のみ残して、服装についての prompt を追記する
  • prompt

    1girl, solo, long hair, flower, breasts, blue eyes, hair ornament, green hair, hair flower, looking at viewer, white flower, large breasts, bangs, blush, very long hair, hairband, bunny dress, black pantyhose, black high heels, Bunny girl,

  • negative

    (worst quality:1.4),(low quality:1.4), (EasyNegative:1.2),(bad hand:1.4),

生成結果：