[!IMPORTANT] I decided to move my development to the better cubiq's repository.
This repository may not be available anymore due to future updates of ComfyUI.
IPAdapter-ComfyUI
IP-AdapterのComfyUIカスタムノードです。
Install
- custom_nodesにclone
IPAdapter-ComfyUI/modelsにip-adapterのモデル（例：SDv1.5用モデル)を入れる。ComfyUI/models/clip_visionにCLIP_visionモデル（例：SDv1.5用モデル)を入れる。
Usage
ip-adapter.jsonを参照してください。
Input
- model：modelをつなげてください。LoRALoaderなどとつなげる順番の違いについては影響ありません。
- image：画像をつなげてください。
- clip_vision：
Load CLIP Visionの出力とつなげてください。 - mask：任意です。マスクをつなげると適用領域を制限できます。必ず生成画像と同じ解像度にしてください。
- weight：適用強度です。
- model_name：使うモデルのファイル名を指定してください。
- dtype：黒い画像が生成される場合、
fp32を選択してください。ほとんど生成時間が変わらないのでずっとfp32のままでもよいかもしれません。
Output
- MODEL：KSampler等につなげてください。
- CLIP_VISION_OUTPUT：ふつうは気にしなくていいです。Revision等を使うときに無駄な計算を省くことができます。
Multiple condition.
ノードを自然につなげることで、複数画像を入力することができます。Maskと組み合わせることで、左右で条件付けを分けるみたいなこともできます。
背景も分割されてしまうことが問題ですね＾＾；
Hint
- 入力画像は自動で中央切り抜きによって正方形にされるので、避けたい場合は予め切り取り処理をするか、
preprocess/furusu Image cropを使うとよいかもしれません。preprocess/furusu Image cropにはパディングをするpaddingとキャラの顔位置を基準に切り取りをするface_cropがあります。face_cropに必要なlbpcascade_animeface.xmlは自動ダウンロードできない場合があるので、その場合は手動でリポジトリ直下に入れてください。
Bug
Apply ControlNetはなぜかバグるので、代わりにApply ControlNet(Advanced)を使ってください。多分治った。
Models
- official models:https://huggingface.co/h94/IP-Adapter
- my models:https:https://huggingface.co/furusu/IP-Adapter
CITIATION
IP-Adapter:https://github.com/tencent-ailab/IP-Adapter