yaml参数 model.num_frames和run.evaluate疑问

SCZwangxiao / RTQ-MM2023

ACM Multimedia 2023 (Oral) - RTQ: Rethinking Video-language Understanding Based on Image-text Model

BSD 3-Clause "New" or "Revised" License

14 stars 2 forks source link

Closed dongfengxijian closed 10 months ago

dongfengxijian commented 10 months ago

感谢作者分享代码，方便我们学习。我想请问一下yaml文件中model.run_frames参数是指一个视频中提取得帧数吗？此外，run.evaluate参数是干什么用的，我dist_train.sh和dist_test.sh运行时候都是False。

SCZwangxiao commented 10 months ago

关于 model.num_frames 对的。
关于 run. evaluate 是继承LAVIS时的遗留代码，都设置为False就行。训练和测试通过dist_train.sh和dist_test.sh完成。如果设置为False，会跳过训练直接进入测试阶段。

dongfengxijian commented 10 months ago

@SCZwangxiao 谢谢大佬解释，我明白了。yaml的model.vit_grad_ckpt和model.vit_ckpt_layer两个参数我也不是很明白，这是干什么用的？

SCZwangxiao commented 10 months ago

@SCZwangxiao 谢谢大佬解释，我明白了。yaml的model.vit_grad_ckpt和model.vit_ckpt_layer两个参数我也不是很明白，这是干什么用的？

决定如何使用gradient checkpointing的参数（精度不变、牺牲一些速度换取显存）。 vit_grad_ckpt: 是否开启gradient checkpointing。 vit_ckpt_layer：从哪一层开始开启gradient checkpointing。

dongfengxijian commented 10 months ago

@SCZwangxiao 谢谢大佬指导！