AI イラスト生成ツール Stable diffusion

現時点よく知られている無料の画像作成ツールは "Stable diffusion" です。
今回はこのツールの導入方法について、勉強していきたいと思います。

インストール及び関連拡張

• 前提条件
  • Python 3.10.6
  • ダウンロード
  • 念のため、上記指定のバージョンをインストールしてください
  • インストール時に 「☑ Add Python 3.10 to PATH」 にチェックを入れてください
  • Git
  • ダウンロード
• stable-diffusion-webui (Stable diffusion) ダウンロード
  • ソースコード
  • ダウンロード

初めての起動

1. ダウンロードした stable-diffusion-webui を任意のディレクトリに解凍します。
2. stable-diffusion-webui/webui-user.bat を実行します。
3. コマンド プロンプトが立ち上がり、ダウンロードが開始されます。
   • 10 GB ほどダウンロードするので、少し時間かかります。
4. コマンド プロンプトの出力に Running on Local URL: http://127.0.0.1:xxxx のような出力が表示されたら、起動完了です。
5. http://127.0.0.1:xxxx をコピーして、ブラウザでアクセスします。
   • コマンドプロンプトは閉じないでください。
6. stable-diffusion-webui の画面が表示されたら完了です。

xformars

これを設定すると、画像生成が少し早くなるらしいです。

• stable-diffusion-webui/webui-user.bat を notepad などで開いて、set COMMANDLINE_ARGS= の後ろに --xformers を追記して保存します。
  • stable-diffusion-webui が起動していない状態で行ってください。

拡張機能

stable-diffusion-webui に拡張機能をインストールことができます。

• ControlNet：素材を識別して、それに近い条件の絵を生成する
  • インポートした線画識別して絵を生成
  • インポートしたポーズを識別して絵を生成
  • etc.

インストール

1. ソースコードの Github URL をコピーします。
   • https://github.com/Mikubill/sd-webui-controlnet
2. stable-diffusion-webui のサイトで、「Extensions」→「Install from URL」→「URL for extensions git repository」に貼り付け、「install」 をクリックします。
3. 暫く経つと、インストール済みの文字が表示されます。
   • インストール先：/stable-diffusion-webui/extensions/
4. 画面少し下の「Reload UI」文字をクリックして、再起動します。

以上でインストールは完了です。
他の拡張機能をインストールする時も同じ手順で実施できます。

モデル

ControlNet 機能を実現するために、モデルを導入する必要があります。

それぞれのモデルの効果はこちらを見てください

モデルのダウンロードと適用：

1. 以下のどちらかをダウンロードします。
   • .safetensors拡張子
   • control で始まるファイルのみをダウンロードします。
   • 比較的にサイズが小さい
   • .pth拡張子
2. ダウンロードしたファイルを /stable-diffusion-webui/extensions/sd-webui-controlnet/models に保存します。
3. 画面少し下の「Reload UI」文字をクリックして、再起動します。

AI モデル

絵を描いてくれる訓練済みのAIモデルをダウンロードする必要があります。
モデルによって、生成された絵は全く違ってくるので、一番大事なものといえます。

モデルのダウンロード

一般的には CIVITAI で無料で他の人がシェアしたモデルをダウンロードできます。

ダウンロードしたモデルを /stable-diffusion-webui/models/Stable-diffusion フォルダに配置すると、stable-diffusion-webui で利用できるようになります。

Stable Diffusion checkpoint でモデルを指定して使用できます。

VAE のダウンロード

VAE(Variational auto encoder) はイラストの質感を影響するものです(彩度とか？)

• 特定モデル用の VAE
  • 大抵モデルと一緒に公開されます
• 汎用 VAE
  • StabilityAI

ファイル拡張子について

• fp16：半精度版
• fp32：単精度版
• .safetensors：安定版
• pruned：軽量版
• 無印：フルサイズ（ファイル大きい）

導入

• VAE ファイル (.safetensors) をダウンロードします。
• /stable-diffusion-webui/models/VAE に配置します。
• ブラウザタブを閉じて、コマンドプロンプトを再起動します。
• 再度 stable-diffusion-webui を起動します。
• ブラウザで「Settings」→「stable Diffusion」→「SD VAE」で導入した VAE を選択します。
• 「Apply Settings」押して、設定を適用します。

最後に

今回導入と基本的なものを揃ってみました。
次はどう使うかについて書いていこうと思います。

最近いろんなAI製品が一遍に出てきたので、どれを先に試すかを迷っていましたが、とりあえず絵が好きなのでこっちにしました。今後仕事上でも使えるようなツールも勉強して試していきたいので、書いていこうと思います。