search

donahowe / AutoStudio

AutoStudio: Crafting Consistent Subjects in Multi-turn Interactive Image Generation
https://arxiv.org/abs/2406.01388
402 stars 31 forks source link

模型配置 #26

Closed ShAw7ock closed 2 months ago

ShAw7ock commented 3 months ago

由于是SD这方面的新手，在模型配置方面有点疑惑，想请教一下本地Pretrained模型的配置问题

  1. StableDiffusion模型按照推荐下载了dreamlike-anime-1.0
  2. IP-Adaptor 下载
  3. efficient_sam_s_gpu.jit 下载
  4. 使用wget下载了groundingdino_swint_ogc.pth
  5. 运行过程中自动从Huggingface下载了bert-base-uncased

在run.py脚本中：

  1. sd_path配置了dreamlike-anime-1.0的文件夹路径
  2. vae_path我也使用了dreamlike-anime-1.0/vae文件夹路径
  3. unet我也使用了dreamlike-anime-1.0/unet文件夹路径
  4. ip_ckpt和image_encoder_path用了1.5plus的版本

RTX 4090/24GB CUDA 11.8

不知道这样的配置会不会有什么问题，因为输出效果很差，完全无法复现repo和论文中提到的效果

donahowe commented 3 months ago

大概率是UNet没配置对不能用Base要用新的节点的UNet，还有VAE要单独下一个