modelscope / DiffSynth-Studio

Enjoy the magic of Diffusion models!
Apache License 2.0
6.4k stars 575 forks source link

kolors训练脚本的疑问 #130

Open JoshonSmith opened 2 months ago

JoshonSmith commented 2 months ago

请问能否用仓库中kolors的训练脚本训练一种特定风格的lora? 比如我这里有很多教科书的插画图片,我希望kolors有效地生成类似图片

数据量等有什么建议吗?

感谢!

Artiprocher commented 2 months ago

当然可以!

关于数据量,我们有一点经验上的建议,希望对你有所帮助:

JoshonSmith commented 1 month ago

当然可以!

关于数据量,我们有一点经验上的建议,希望对你有所帮助:

  • 对于特定实体的 LoRA(例如某个动漫角色),几十张图是足够的
  • 对于特定风格的 LoRA(例如教科书插画),数据量越多越好,另外 LoRA rank(LoRA 的参数数量)需要适当地调大
  • 无论哪种 LoRA,训练数据应当尽量保证一致性
  • 在训练数据的文本部分,我更推荐在 Kolors 中使用中文

我看示例里面的提示词没有使用触发词,如sks之类的,是否会对生成有影响?