关于无法爬取页面内容的修复办法

gxtrobot / bustag

a tag and recommend system for old bus driver 给老司机用的一个番号推荐系统

MIT License

3.85k stars 586 forks source link

关于无法爬取页面内容的修复办法 #112

Open hspmanbu opened 11 months ago

hspmanbu commented 11 months ago

研究了好几天，这个古老的项目终于又可以正常使用了，思路就是使用request全面替代aspider，需要设置一个看上去是正常浏览器的header（并不需要cookie登录），修改schedule.py 、bus _spider.py 、parser.py 三个文件，注意meta中的url以及tag_list中的tag_link都需要去除root_path 缺点就是爬取速度稍微慢了一些

lihaoze123 commented 7 months ago

具体操作能麻烦指点一下吗

Banxiaxiala commented 6 months ago

大佬方便放一个源么