search

OpenGVLab / VideoMAEv2

[CVPR 2023] VideoMAE V2: Scaling Video Masked Autoencoders with Dual Masking
https://arxiv.org/abs/2303.16727
MIT License
527 stars 63 forks source link

预训练阶段收敛问题 #65

Open hanfeng0409 opened 3 months ago

hanfeng0409 commented 3 months ago

您好，我想请教一下，预训练阶段的loss一般会收敛到多少？我现在在自己的数据上跑预mae-b的预训练，发现loss基本在0.2左右就不再下降了。然后把重建的结果绘制在原图上，发现都比较模糊。

XuecWu commented 2 months ago

@hanfeng0409 您好，请问您是在多大规模的数据集上跑了多少epoch后达到收敛呢

hanfeng0409 commented 2 months ago

@hanfeng0409 您好，请问您是在多大规模的数据集上跑了多少epoch后达到收敛呢 感谢您的回复。 大概3000个 数据上，现在是设置了1200个epoch，实际跑到了200个epoch，前30个epoch的loss很快从0.8降到了 0.2左右 后100个epoch loss在0.18附近震荡。