xianhu / PSpider

简单易用的Python爬虫框架,QQ交流群:597510560
https://github.com/xianhu/PSpider
BSD 2-Clause "Simplified" License
1.83k stars 504 forks source link

豆瓣爬取遇到301和403 #15

Closed haoransh closed 7 years ago

haoransh commented 7 years ago

在运行test_demos.py的时候,会遇到301错误。在修改demos_doubanmovies的fetch方法,使得重定向被允许之后,还是会出现403。请问还有哪些设置可以修改,以成功爬取豆瓣的电影数据呢?

2788 commented 7 years ago

我也是这个问题.....

xianhu commented 7 years ago

(1)现在不知道豆瓣的规则有没有改,当时有用,但不保证现在能用。

xianhu commented 7 years ago

(2)如果你之前就被豆瓣封了,那这个策略是不生效的。