search

stay-leave / weibo-public-opinion-analysis

基于微博数据的舆情分析项目，包括微博爬虫、LDA主题分析和情感分析。
649 stars 101 forks source link

爬取用户信息失败 #6

Closed jiayin0509 closed 2 years ago

jiayin0509 commented 2 years ago

您好，在爬取用户信息时显示正常爬取中，也创建了这个表，但是表却是空表，请问这是什么情况呢？

stay-leave commented 2 years ago

请访问下你的目标网址看一下。也没有任何报错吗

jiayin0509 commented 2 years ago

没有报错，也能打开

jiayin0509 commented 2 years ago

不过单个资料爬取时候进行打印基本信息时数据为空

stay-leave commented 2 years ago

image 抱歉，我忘了我在save_afile()函数下每次都新建了个sheet。在那里面

jiayin0509 commented 2 years ago

也怪我，没注意到这些。。不过爬取后除了UID之外其他的还是空白

stay-leave commented 2 years ago

你用随机cookie版本试试

stay-leave commented 2 years ago

你用随机cookie版本的，同时多添加几个cookie，我刚试了，没问题

jiayin0509 commented 2 years ago

好的 我试试，辛苦啦哈 先谢谢哈

summer-mood commented 2 years ago

请问一下，原本网页的评论有很多条，但是用随机cookie版本爬取评论信息为什么只能爬取到很少几条信息呢，是cookie的问题吗，这里的cookie应该是什么呢，还是说有其他方面需要注意的？ image image

stay-leave commented 2 years ago

image cookie在这里面，是微博账号的登录缓存信息。感觉你的不对。 其次若太少可以把等待时间延长，例如最后的t.sleep()里面改成1——9的数字，越大等待越久。 我今天又跑了一次，没问题。若还有问题可以cdsn私信我。

summer-mood commented 2 years ago

csdn如何私信你呢

stay-leave commented 2 years ago

搜 灵海之森

ligongzi0 commented 2 years ago

作者你好，出现“PermissionError”这个错误是怎么回事啊？显示已经保存了的数据也没有被保存。

stay-leave commented 2 years ago

可能是你的电脑没有给Python程序访问文件系统的权限？我没见过这个，你百度下看看。

ligongzi0 commented 2 years ago

可能是你的电脑没有给Python程序访问文件系统的权限？我没见过这个，你百度下看看。

好的，谢谢了！