关于微调损失函数

[D-W-Y]

我发现微调时损失函数只计算分类损失，而不计算重建损失，这是为什么呢？期望您的回答，非常感谢！

[censhallwe]

微调阶段的训练任务是完成动作分类，不需要重建，是没有解码器参与的，类似于Vision Transformer完成图片分类，只需要用分类损失训练编码器就行。预训练阶段的训练任务是重建RGB帧，编解码器都参与训练，目的是得到一个较优的编码器预训练权重，这样在后续微调阶段用这个预训练好的模型可以更好地完成训练。你也可以看一下其他自监督预训练模型的流程，比如何恺明老师的MAE。