Open NyoronGero opened 4 months ago
功能描述 限制同时爬取数量、爬取间隔时间
背景 想爬的账号千来张图，爬了几十个就被限制访问，网页也看不到推文（【帖子】栏，而【媒体】栏本来就有限制没法看到很早以前的）。 受限10分钟后恢复正常。 如果使用X-Spider按月在【帖子】爬取，则每次都需要先逐一跳过该日期至今的推文，十分浪费时间。并且在逐一跳过的过程中就被限制访问了，不一定能到达所选时间段。
其他信息 暂无
功能描述 限制同时爬取数量、爬取间隔时间
背景 想爬的账号千来张图，爬了几十个就被限制访问，网页也看不到推文（【帖子】栏，而【媒体】栏本来就有限制没法看到很早以前的）。 受限10分钟后恢复正常。 如果使用X-Spider按月在【帖子】爬取，则每次都需要先逐一跳过该日期至今的推文，十分浪费时间。并且在逐一跳过的过程中就被限制访问了，不一定能到达所选时间段。
其他信息 暂无