Closed LEM0NTE closed 1 year ago
As there is no more activity, I am closing the issue, don't hesitate to reopen it if necessary.
您好,我已经按照您的建议成功的处理好了sth模型,并且验证了uniformer_16x3x1_preK400模型的精度,与您公布的结果完全一致。 但是还想再咨询您,对于在K400预训练好的模型,想在sthv2数据集进行微调应该怎么进行呢?是直接使用sthv2的config文件,加载比如"uniformer_s8x8_k400_epoch100.pth"(我自己复现的checkpoint),来继续进行训练嘛。还是说要比如冻结网络的backbone,只让最后的fc层进行训练呢?
按照我提供的config训练即可,在模型代码中指定model_path,并修改yaml文件 https://github.com/Sense-X/UniFormer/blob/c795a50563d4a68c277f04432ff50eab001bb8d2/video_classification/slowfast/models/uniformer.py#L17-L26
训练时不需要冻结网络
哈喽,我使用您的模型(s8*8)以及您提供的K400数据集做了完整的训练(100个epoch),没有使用Imagenet进行预训练。经过测试,发现最好的精度为75.1,这低于您发布的78.4。我看到您在其他issue中回答可能是数据集划分引起的误差,但我不确定这个差距是否是正常的。 此外,关于sthV2数据集,我从mmaction那边查看了相关的准备方法。请问您在使用的时候也是根据mm,使用denseflow进行的抽帧并生成帧文件列表的操作吗? 另外,我注意到您在不同的模型中使用了不同的head_dim = 64/32。请问根据您的经验,这样的设置会有什么样的影响呢?并且我注意到MViT等模型使用的是[96,192,384,768], head_dim = 96这样的设置。这样会提升参数量和Flops,但您并没有沿用这样的设置,请问是精度没有进一步的提升嘛? 最后想问的是,您在K400数据集训练之后,如果需要对K600或者sth等数据集做测试。就加载K400的预训练模型然后在新的数据集上进行训练嘛?请问这种根据新数据集微调的训练大概需要多少个epoch,训练细节有什么需要注意的呢,比如模型有什么需要调整的嘛,还是说根据您提供的yaml文件进行相应的调整就可以了~ 感谢您的工作!