smthemex / ComfyUI_StoryDiffusion

You can using StoryDiffusion in ComfyUI
Apache License 2.0
195 stars 191 forks source link

stabilityai/stable-diffusion-xl-base-1.0 放置路径 #23

Closed wikeeyang closed 3 weeks ago

wikeeyang commented 3 months ago

环境正常,ComfyUI_StoryDiffusion 插件安装正常,ComfyUI 启动没任何报错 测试 custom_nodes\ComfyUI_StoryDiffusion\examples\txt2imgcontrolnet.json 工作流,工作流加载正常 juggernautXL_v9Rundiffusionphoto2.safetensors 模型已经放到 models\checkpoints 下面,节点上,模型添加正常 执行工作流后,还是需要在线去 HF 下载 stabilityai/stable-diffusion-xl-base-1.0 模型 由于该模型很大,之前已经下载到本地,但不知道该放置到哪个目录下才能被找到??? 试过放置到如下这些目录: models\checkpoints\stabilityai\stable-diffusion-xl-base-1.0 models\stabilityai\stable-diffusion-xl-base-1.0 models\hubcache\stabilityai\stable-diffusion-xl-base-1.0 models\hubcache\models\stabilityai\stable-diffusion-xl-base-1.0 都无法正常被找到和加载。 报错信息如下(我不想开梯子再连接到 HF 重新下载一遍,几十个GB太慢了。):

Traceback (most recent call last): File "E:\ComfyUI2024\ComfyUI\execution.py", line 151, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) File "E:\ComfyUI2024\ComfyUI\execution.py", line 81, in get_output_data return_values = map_node_over_list(obj, input_data_all, obj.FUNCTION, allow_interrupt=True) File "E:\ComfyUI2024\ComfyUI\execution.py", line 74, in map_node_over_list results.append(getattr(obj, func)(slice_dict(input_data_all, i))) File "E:\ComfyUI2024\ComfyUI\custom_nodes\ComfyUI_StoryDiffusion\Storydiffusion_node.py", line 1197, in story_model_loader pipe = load_models(model_info, sd_type, device=device, photomaker_path=photomaker_path, lora=lora, File "E:\ComfyUI2024\ComfyUI\custom_nodes\ComfyUI_StoryDiffusion\utils\load_models_utils.py", line 75, in load_models pipe = StableDiffusionXLPipeline.from_pretrained( File "E:\ComfyUI2024\python310\lib\site-packages\huggingface_hub\utils_validators.py", line 114, in _inner_fn return fn(*args, *kwargs) File "E:\ComfyUI2024\python310\lib\site-packages\diffusers\pipelines\pipeline_utils.py", line 671, in from_pretrained cached_folder = cls.download( File "E:\ComfyUI2024\python310\lib\site-packages\huggingface_hub\utils_validators.py", line 114, in _inner_fn return fn(args, kwargs) File "E:\ComfyUI2024\python310\lib\site-packages\diffusers\pipelines\pipeline_utils.py", line 1454, in download raise EnvironmentError( OSError: Cannot load model stabilityai/stable-diffusion-xl-base-1.0: model is not cached locally and an error occurred while trying to fetch metadata from the Hub. Please check out the root cause in the stacktrace above.

请大佬指点一下,这个模型到底需要放置到哪?

另外,laion\CLIP-ViT-bigG-14-laion2B-39B-b160k 模型,我放置在:

\CLIP-ViT-bigG-14-laion2B-39B-b160k

在 workflow 节点上,是填写上述完整路径,还是只需要:

E:\ComfyUI2024\ComfyUI\models\laion

工作流截图如下: 2024-07-01_095957

wikeeyang commented 3 months ago

把 sd_type 改为:Use_Single_XL_Model,工作流能跑起来,但跑到 Storydiffusion_Sampler 节点,到了 step 4 后,报错如下:

start_merge_step:4

!!! Exception during processing!!! type object 'StableDiffusionXLControlNetPipeline' has no attribute 'from_pipe'

Traceback (most recent call last): File "E:\ComfyUI2024\ComfyUI\execution.py", line 151, in recursive_execute output_data, output_ui = get_output_data(obj, input_data_all) File "E:\ComfyUI2024\ComfyUI\execution.py", line 81, in get_output_data return_values = map_node_over_list(obj, input_data_all, obj.FUNCTION, allow_interrupt=True) File "E:\ComfyUI2024\ComfyUI\execution.py", line 74, in map_node_over_list results.append(getattr(obj, func)(**slice_dict(input_data_all, i))) File "E:\ComfyUI2024\ComfyUI\custom_nodes\ComfyUI_StoryDiffusion\Storydiffusion_node.py", line 1396, in story_sampler image_dual = msdiffusion_main(pipe, image_a, image_b, prompts_dual, width, height, steps, seed, File "E:\ComfyUI2024\ComfyUI\custom_nodes\ComfyUI_StoryDiffusion\Storydiffusion_node.py", line 966, in msdiffusion_main pipe=StableDiffusionXLControlNetPipeline.from_pipe(pipe,controlnet = controlnet).to(device) AttributeError: type object 'StableDiffusionXLControlNetPipeline' has no attribute 'from_pipe'

Prompt executed in 210.72 seconds

工作流挂在那里,跑不下去了。。。

ComfyUI Web 截图如下: 2024-07-01_101850

请大佬看看引起这个错误的原因。谢谢!

smthemex commented 3 months ago

你试着更新一下节点,我昨天修复了pipe流程报错的bug,我迟点会再更新一些内容。不过我计划把MS diffusion单独剥离出来,所以最近的更新会有点频繁,旧的方法都没法用。另外 laion\CLIP-ViT-bigG-14-laion2B-39B-b160k 这个 clip模型的前缀地址是随意的,但是文件结构你要看我的说明。还有就是地址必须是“/”,我看你的截图,都是用的“\”,也就是 必须是XX:/XX/XX/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k, 前述的SDXL模型也一样。如果你选择了SDXL菜单,会自动下载到C盘的“用户/你的用户名/.cache/huggingface/hub里

wikeeyang commented 3 months ago

谢谢大佬的快速回复,我更新一下试试,另外,HF Snap_download cache dir 我当然是清楚的,我意思是本地已经有下载好的 stabilityai/stable-diffusion-xl-base-1.0 模型了,如何挂进来,而不是重新下载。我看日志,Fetch 了 19 个文件,一下子又得下载 10-20GB 的,而且必须得从 Huggingface.co 下载,这个头疼啊。。。

wikeeyang commented 3 months ago

大佬,刚更新完,重新跑了一遍,还是这个一样的 pipe 报错。截图如下:

2024-07-01_123959

wikeeyang commented 3 months ago

补充一下,diffusers==0.27.2,这个没问题吧?

smthemex commented 3 months ago

版本低了,可能要0.28以上 我很快就要重置这个节点,把MS剥离

wikeeyang commented 3 months ago

好的。谢谢大佬,我升级 diffusers 再试一下,不行就等大佬更新调整完了再说。多谢多谢!大佬辛苦了。

wikeeyang commented 3 months ago

源码更新到最新,升级 diffusers==0.28.2 后,终于跑出来了一个结果,如下图:

ComfyUI_00009_

多谢大佬指点!期待你全部更新后,再测试更强大的版本。👍👍👍

gta67-0402 commented 2 months ago

好的。谢谢大佬,我升级扩散器再试一下,不行就等大佬更新调整完了再说。多谢多谢!大佬辛苦了。

老哥,我也遇到了一些问题,你是怎么解决的啊,还有diffusers版本怎么更新?我最开始是装了插件但是找不到节点,然后我把内核和扩展都更新到最新的可以看见节点了。但是跑不起来,用不了。一直报错。而且我提示找不到stable-diffusion-xl-base-1.0这个模型,最后这个问题你是咋解决的?

smthemex commented 2 months ago

你要看说明文件啊,打开插件目录下的config文件,里面的models.yaml文件,里面有自定义的stable-diffusion-xl-base-1.0本地模型路径。如果你选择SDXL菜单无法跑通,是没连外网,如果你选择单体模型也不跑不通,还是网络的问题。如果你的外网链接不畅,可以看我的B站视频,有使用镜像站的方法。

gta67-0402 commented 2 months ago

你要看说明文件啊,打开插件目录下的config文件,里面的models.yaml文件,里面有自定义的stable-diffusion-xl-base-1.0本地模型路径。如果你选择SDXL菜单无法跑通,是没连外网,如果你选择单体模型也不跑不通,还是网络的问题。如果你的外网链接不畅,可以看我的B站视频,有使用镜像站的方法。

首先感谢大佬的耐心回复。我改了一下,还是不行,我梯子可以用的。主要我也不是很清楚问题在哪里。我用的秋叶的整合包,所以我也并不知diffusers咋跟新,就是一开始装了插件看不到节点,然后我把所有能更新到最新的都更新了,后面就是现在出现的问题了。我不懂程序。有的东西看不太懂就是。我截了图,也不知道具体啥原因就是。还有那个“/”我在改路径的时候 / 和 \ 都试了。还是出错。下面是一些截图。 qq qqq qqqq

smthemex commented 2 months ago

image 除了这个diffuser地址是错的,其他的没什么问题,按理你选择单体模型,是要下载config文件的,如果下载过了还跑不起来,多半是就是diffuser的版本不够高,起码0.27以上。秋叶的控制台好像是可以安装库的,你试试pip install -U diffusers 更新一下,然后我最近会修改一下代码。

gta67-0402 commented 2 months ago

image 除了这个diffuser地址是错的,其他的没什么问题,按理你选择单体模型,是要下载config文件的,如果下载过了还跑不起来,多半是就是diffuser的版本不够高,起码0.27以上。秋叶的控制台好像是可以安装库的,你试试pip install -U diffusers 更新一下,然后我最近会修改一下代码。

这个杠杠我改过反过来也不行。。。不行我就等待大佬后续更新吧。十分感谢。

smthemex commented 2 months ago

已经更新了,你再试试吧。

gta67-0402 commented 2 months ago

已经更新了,你再试试吧。

dd 还是不行,哈哈哈哈哈。如果这个原因是因为diffusers版本问题的话。diffusers要怎么更新?pip install -Udiffusers是在哪里弄的?实在是不太清楚,网上也没找到比较实用的方法。

smthemex commented 2 months ago

你用的秋叶包,就找秋叶包里的更新吧