抓取豆瓣电影bid随机策略

xianhu / PSpider

简单易用的Python爬虫框架，QQ交流群：597510560

https://github.com/xianhu/PSpider

BSD 2-Clause "Simplified" License

1.83k stars 504 forks source link

Closed Resemble closed 7 years ago

Resemble commented 7 years ago

请问一下，那个bid随机的策略还能用吗，之前我用了一下还能用，今天不能用了，你那边怎么样呢

void285 commented 7 years ago

我抓API试了下是不行的，不过API的限制策略比较明确，每小时500请求，似乎是不考虑cookie的

xianhu commented 7 years ago

我刚试了，能用。这里要说明一点，如果你现在已经处于被封的状态，这个策略是没有办法的。随机bid能保证你不会被封，但是不能让你从被封的状态转化为不被封。

liusiye commented 7 years ago

似乎现在这个策略已经不行了~

xianhu commented 7 years ago

你试试直接访问可以吗？参考我上一个评论：

这里要说明一点，如果你现在已经处于被封的状态，这个策略是没有办法的。随机bid能保证你不会被封，但是不能让你从被封的状态转化为不被封。

liusiye commented 7 years ago

检测到有异常请求从你的 IP 发出，请登录使用豆瓣。

爬了大概一个小时后，会要求登录~~~~

xianhu commented 7 years ago

我还没抓过那么久。这就需要你再去试验更好的策略了，或者更换IP地址