Open nowata opened 1 year ago
只抓取了不到三百个帖子就开始跳429,而且比较麻烦的是,电脑上的浏览器已经不跳429了,但打开炼精工房的浏览器时还是处于429的状态
emmm抱歉,最近都很少看github了。 目前这个新的方式只是省去你手动去浏览器获取token而已,而且根据fantia的网页安全设计,目前只有这个方案能稳定爬取了。 你应该是下载速度比较快的,所以每个帖子之间几乎都没有等待时间就一直下载,或者你的同时下载数量是不是有设置比较高? 我这边会追加设定一下每个帖子之间的等待时间,再看看会不会429吧。
只抓取了不到三百个帖子就开始跳429,而且比较麻烦的是,电脑上的浏览器已经不跳429了,但打开炼精工房的浏览器时还是处于429的状态