search

PaddlePaddle / PaddleMIX

Paddle Multimodal Integration and eXploration, supporting mainstream multi-modal tasks, including end-to-end large-scale multi-modal pretrain models and diffusion model toolbox. Equipped with high performance and flexibility.
Apache License 2.0
242 stars 101 forks source link

controlnet训练报错 #233

Open intersoulest opened 8 months ago

intersoulest commented 8 months ago

controlnet 可以自定义训练sd2的模型吗？我使用md中的教程一直出现错误。

intersoulest commented 8 months ago

我解决了，该错误是因为数据集尺寸大小不一致，不是64的倍数导致报错，自定义数据集必须尺寸大小是64的倍数

intersoulest commented 8 months ago

使用sd2训练出来的controlnet模型效果很差，基本只有一个轮廓，而且图片是灰色的，我的提示词为：a red flower。 训练出来的结果图demo1 原图mihui_1

westfish commented 5 months ago

可能需要重点考虑以下情况： 确保训练数据集包含足够的、高质量的样本 确保paddle、ppdiffusers等版本适配，可以先不加载controlnet看看推理是否正常 排查是不是精度问题，可以先使用fp32训练和推理