search

Kamino666 / vatex-downloader

A simple vatex dataset downloader. 一个简单的VATEX数据集（或其他YouTube视频数据集）的下载器，特别为国内网络环境优化（其实就是断点下载和加上代理的参数）。
1 stars 0 forks source link

发生异常: OperationalError #1

Closed lj163ucas closed 1 year ago

lj163ucas commented 1 year ago 
发生异常: OperationalError
no such table: vatex
  File "/mnt/f/Datastes/vatex-downloader/downloader_v2.py", line 171, in __init__
    cursor.execute(
  File "/mnt/f/Datastes/vatex-downloader/downloader_v2.py", line 196, in <module>
    producer = ProducerWorker(dl_queue)
sqlite3.OperationalError: no such table: vatex

查看downloader_v2.py中的main执行逻辑，似乎没有执行init_database、dump_exist_videos_to_database、load_black_list_to_database函数。同时请问下，如果将下载video为单独的文件呢？

Kamino666 commented 1 year ago

确实是没有执行这些函数，主要是我懒得写了hhhh，可以自行执行一下。 假如你是下VATEX数据集，建议去https://github.com/cvdfoundation/kinetics-dataset这里下载Kinetics600的视频，因为VATEX是从K600的验证集里抽的，那边视频更全还不用梯子。

lj163ucas commented 1 year ago

感谢秒回

myccver commented 10 months ago

确实是没有执行这些函数，主要是我懒得写了hhhh，可以自行执行一下。 假如你是下VATEX数据集，建议去https://github.com/cvdfoundation/kinetics-dataset这里下载Kinetics600的视频，因为VATEX是从K600的验证集里抽的，那边视频更全还不用梯子。

你好，我有问题想请教一下。我下载了Kinetics600的验证集，然而里面总共才有29741个视频。vatex训练视频25991验证3000测试6000，是大于Kinetics600的验证集数目的。并且我利用vatex的视频id在Kinetics600的验证集里抽取视频，发现总共只收集到13968个视频。请问这是什么原因呢？

Kamino666 commented 10 months ago

这个建议参考一下VATEX的论文，他们有更详细的来源，我记得理论上是能找到绝大部分的训练和验证集，但是测试集没有。