Open wangyin717 opened 4 months ago
moviepy的VideoFileClip有时候读取会有问题,所以我直接跳过了,大概只会浪费1k左右的视频(总共100k),所以就还好
如果你想尽可能避免的话,可以把https://github.com/Coobiw/MPP-LLaVA/blob/master/lavis/datasets/datasets/video_instructions.py#L28这个函数,参考https://github.com/Coobiw/MPP-LLaVA/blob/master/webui_demo.py#L23进行修改
在二阶段微调训练时,会输出video有问题的信息:
分析发现是一些视频数据没有截取到图像帧,在这里的
ret
会返回False(一部分视频返回False,其他视频能够正常返回True,返回False的视频路径对应的视频存在于数据集中): https://github.com/Coobiw/MPP-LLaVA/blob/cfd419c3a156f747fe25871e6a1eeb4beeb9fe0c/lavis/datasets/datasets/video_instructions.py#L43导致输出信息 https://github.com/Coobiw/MPP-LLaVA/blob/cfd419c3a156f747fe25871e6a1eeb4beeb9fe0c/lavis/datasets/datasets/video_instructions.py#L55
说明这里没有在视频中截取到图像,但是我把报错视频下载下来,发现视频没有问题。现在不知道问题出在哪里。
附配置文件 sft.yaml :