OpenGVLab / UniFormerV2

[ICCV2023] UniFormerV2: Spatiotemporal Learning by Arming Image ViTs with Video UniFormer
https://arxiv.org/abs/2211.09552
Apache License 2.0
291 stars 18 forks source link

关于STHv2 视频样本采样问题 #58

Open Bill-rao opened 11 months ago

Bill-rao commented 11 months ago

当我尝试复现这个代码的时候,发现所给的data_list文件中,somesomev2rgb{}_split.txt的文件中记录的视频样本总长度与我自己按照slowfast方式采样后的总帧数不一致,但是README中并未提及你们sthv2的帧的抽取方式。请问能否给出具体的抽帧方式,例如ffmpeg的示例代码,python代码,shell脚本等。

Andy1621 commented 11 months ago

这个数据当时抽帧的FPS有点遗忘了,你可以根据你自己的实际帧数计算一下倍数调整一下,抽帧可以借鉴MMAction2。另外也可以直接读video,类似Kinetics的数据集操作即可