Open hello-bluedog opened 4 months ago
我发现在pixabay的3万多条视频中,有1万多条的视频是重复的(这些视频的pixabay video id相同)。建议去重。 在mixikit和pexels中也有类似的现象,pexels中约有100多条,mixikit约有30多条
hi,我们统计过所有视频的md5码,确实有重复,但比例并不大。考虑到这个版本的数据规模也不大,所以没有去重。
我发现在pixabay的3万多条视频中,有1万多条的视频是重复的(这些视频的pixabay video id相同)。建议去重。 在mixikit和pexels中也有类似的现象,pexels中约有100多条,mixikit约有30多条