search

siliconflow / onediff

OneDiff: An out-of-the-box acceleration library for diffusion models.
https://github.com/siliconflow/onediff/wiki
Apache License 2.0
1.61k stars 99 forks source link

> 复现步骤： 1.首次工作流中使用OneDiffCheckpointLoaderSimple加载ckpt,且不加载任何Lora 2.修改工作流，增加LoRALoader节点，加载任一Lora 3.LoRA未生效 #968

Closed Dylanooo closed 3 months ago

Dylanooo commented 3 months ago 
          > 复现步骤： 1.首次工作流中使用OneDiffCheckpointLoaderSimple加载ckpt,且不加载任何Lora 2.修改工作流，增加LoRALoader节点，加载任一Lora 3.LoRA未生效

Hello, 👋感谢反馈， 这个问题已经修复（pr:https://github.com/siliconflow/onediff/pull/967) @Dylanooo @CuddleSabe

下面video是根据反馈修复后的结果：

https://github.com/siliconflow/onediff/assets/109639975/9bee93d5-9f27-48d0-b28b-fc8b064e2575

注意⚠️： 如果切换lora 发现有部分参数没更新上 请设置 export ONEFLOW_MLIR_ENABLE_INFERENCE_OPTIMIZATION=0 环境变量。（原因：常量折叠 会导致 lycoris lora 失效，需要关闭。）

Originally posted by @ccssu in https://github.com/siliconflow/onediff/issues/936#issuecomment-2178534372

Dylanooo commented 3 months ago

@ccssu 非常感谢您对此问题的关注，经过验证，lora问题仍旧存在，问题复现步骤： 1.删除本地已经生成的graph 2.使用未加载任何lora的工作流生图 3.增加LoadLoRA节点，加载lora，生图结果未生效 具体复现步骤见如下video

https://github.com/siliconflow/onediff/assets/6355445/b0b4df24-c77a-4f36-b407-52f648fe0114

实验工作流：

workflow-2

workflow-4

ccssu commented 3 months ago

3.增加LoadLoRA节点，加载lora，生图结果未生效

Hello @Dylanooo Thank you for your feedback

方便提供下 onediff 版本信息和终端运行日志么

我这边测试在：【lora会生效。】

测试的checkpoint 模型下载来自：https://huggingface.co/GreenGrape/231209/blob/main/majicmixRealistic_v7.safetensors onediff: commit: 30d1168c93e93753a1a21d8536d934d292517715 Comfyui: commit 1e2839f4d904b686cea2686b2855279572df8022 (HEAD -> master)

启动comfyui指令：

export ONEDIFF_DEBUG=1
export ONEFLOW_MLIR_ENABLE_INFERENCE_OPTIMIZATION=0
python main.py  --cuda-device 0 --gpu-only --port 8188 --verbose
Dylanooo commented 3 months ago

3.增加LoadLoRA节点，加载lora，生图结果未生效

Hello @Dylanooo Thank you for your feedback

方便提供下 onediff 版本信息和终端运行日志么

我这边测试在：【lora会生效。】

测试的checkpoint 模型下载来自：https://huggingface.co/GreenGrape/231209/blob/main/majicmixRealistic_v7.safetensors onediff: commit: 30d1168 Comfyui: commit 1e2839f4d904b686cea2686b2855279572df8022 (HEAD -> master)

启动comfyui指令：

export ONEDIFF_DEBUG=1
export ONEFLOW_MLIR_ENABLE_INFERENCE_OPTIMIZATION=0
python main.py  --cuda-device 0 --gpu-only --port 8188 --verbose

Hi, @ccssu 我想我大概发现了问题，在启动ComfyUI的时候没有使用 --gpu-only，增加 --gpu-only后以上问题不会复现。

ccssu commented 3 months ago

安装： https://github.com/siliconflow/onediff/tree/main/onediff_comfy_nodes#installation-guide

启动comfyui指令：

# export ONEDIFF_DEBUG=1
# export ONEFLOW_MLIR_ENABLE_INFERENCE_OPTIMIZATION=0
python main.py  --cuda-device 0 --gpu-only --port 8188 --verbose

注意⚠️： 如果切换lora 发现有部分参数没更新上 请设置 export ONEFLOW_MLIR_ENABLE_INFERENCE_OPTIMIZATION=0 环境变量。（原因：常量折叠 会导致 lycoris lora 失效，需要关闭。） 使用

https://github.com/siliconflow/onediff/assets/6355445/b0b4df24-c77a-4f36-b407-52f648fe0114