levihsu / OOTDiffusion

Official implementation of OOTDiffusion: Outfitting Fusion based Latent Diffusion for Controllable Virtual Try-on
Other
5.55k stars 813 forks source link

训练相关疑问 #182

Open xuyu666 opened 5 months ago

xuyu666 commented 5 months ago

作者你好: 我最近跑通了你的代码并用于训练。其中,我将你/data/xuyu_model/OOTDiffusion-train/checkpoints/ootd/ootd_hd/checkpoint-36000/unet_garm 内的config和Diffusion.safetensor 直接替换成了SD1.5对应Unet文件内的,这种做法用于重新训练是否正确。同时,在训练过程中监测训练方面,有什么建议么~

ssxxiaohe1314 commented 5 months ago

作者你好: 我最近跑通了你的代码并用于训练。其中,我将你/data/xuyu_model/OOTDiffusion-train/checkpoints/ootd/ootd_hd/checkpoint-36000/unet_garm 内的config和Diffusion.safetensor 直接替换成了SD1.5对应Unet文件内的,这种做法用于重新训练是否正确。同时,在训练过程中监测训练方面,有什么建议么~

作者你好: 我最近跑通了你的代码并用于训练。其中,我将你/data/xuyu_model/OOTDiffusion-train/checkpoints/ootd/ootd_hd/checkpoint-36000/unet_garm 内的config和Diffusion.safetensor 直接替换成了SD1.5对应Unet文件内的,这种做法用于重新训练是否正确。同时,在训练过程中监测训练方面,有什么建议么~

您好可以请教下如何跑通训练代码的问题嘛

Sheldongg commented 5 months ago

OOTD已经不是开源sota了,建议换个项目

appleyang123 commented 4 months ago

OOTD已经不是开源sota了,建议换个项目

请问现在是哪个?

Sheldongg commented 4 months ago

OOTD已经不是开源sota了,建议换个项目

请问现在是哪个?

idm vton

levihsu commented 4 months ago

作者你好: 我最近跑通了你的代码并用于训练。其中,我将你/data/xuyu_model/OOTDiffusion-train/checkpoints/ootd/ootd_hd/checkpoint-36000/unet_garm 内的config和Diffusion.safetensor 直接替换成了SD1.5对应Unet文件内的,这种做法用于重新训练是否正确。同时,在训练过程中监测训练方面,有什么建议么~

抱歉才注意到这个issue。重新训练的话unet_garm和unet_vton都需要替换;监测训练具体指什么?

levihsu commented 4 months ago

OOTD已经不是开源sota了,建议换个项目

请问现在是哪个?

idm vton

但凡看一下论文就知道他们那个除了加了点小trick和把base网络换成xl之外基本copy我们的方法。。。连预处理代码都是照搬的。如果只论算法,想用自己的数据进行训练的话恐怕不存在他们比我们sota吧?

675505899 commented 4 months ago

@levihsu 大佬,你好,我想训练穿带手镯 项链 耳环这种模型,应该怎么训练,数据集应该怎么收集标记?就是一个模特 图片,然后还有手镯,项链,耳环图片,选择手镯图片,模特展示带手镯效果,选择项链图片,模特展示带项链效果。

levihsu commented 4 months ago

@levihsu 大佬,你好,我想训练穿带手镯 项链 耳环这种模型,应该怎么训练,数据集应该怎么收集标记?就是一个模特 图片,然后还有手镯,项链,耳环图片,选择手镯图片,模特展示带手镯效果,选择项链图片,模特展示带项链效果。

对的 就是类似你说的数据对 手镯.jpg + 戴手镯模特.jpg

675505899 commented 4 months ago

模型结构要改吗?只是改数据就行了?

675505899 commented 3 months ago

@levihsu 数据集标注怎么弄,模型怎么知道把手镯照片放到人手腕上,而不是其他地方?

liinyun commented 2 months ago

@levihsu 数据集标注怎么弄,模型怎么知道把手镯照片放到人手腕上,而不是其他地方?

这个项目其实也使用了别人的模型的,就是哪个onnx 文件,你得先把那个搞清楚

levihsu commented 2 months ago

OOTD已经不是开源sota了,建议换个项目

请问现在是哪个?

idm vton

但凡看一下论文就知道他们那个除了加了点小trick和把base网络换成xl之外基本copy我们的方法。。。连预处理代码都是照搬的。如果只论算法,想用自己的数据进行训练的话恐怕不存在他们比我们sota吧?

所以呢,效果还是IDM VTON好啊,换主干网络算不算创新不重要,我不说的是效果sota吗,你咋还急眼了。idm vton又不是不能微调,为啥OOTD微调效果一定比idm vton好

别人来问训练相关问题 你直接来一句换个项目 我分析对比两个算法 你说我急眼 你有什么毛病?没学过尊重人吗 都过了这么久了又突然冒出来 现在ootd确实不是sota了 就别来膈应人了