stay-leave / weibo-public-opinion-analysis

基于微博数据的舆情分析项目,包括微博爬虫、LDA主题分析和情感分析。
658 stars 101 forks source link

如何指定要爬取的主题 #22

Open denfenser opened 1 year ago

denfenser commented 1 year ago

博主您好,如何在comment_crawler.py文件中指定想要爬取的主题呢。我成功运行了您的博文内容爬取文件。但是在这个博文评论爬取文件中,没有找到相应的提示。

stay-leave commented 1 year ago

没有办法指定主题爬取评论。评论是根据爬取到的正文来的,根据正文爬取其对应的评论

denfenser commented 1 year ago

谢谢博主,是我没有仔细浏览您的文件介绍,给您添麻烦了。

denfenser commented 1 year ago

博主大大,现在能够爬取到评论了,可是原先微博显示2000条以上的评论,现在爬取数量基本不超过3条,是不是触发了微博的反爬机制。

stay-leave commented 1 year ago

评论爬取要用最新的爬虫,这个版本的比较差,但是我没开源,如果有科研需要请在CSDN联系我

denfenser commented 1 year ago

好的,谢谢博主,我尝试了comment_crawler_random这一程序,可以爬取到一部分评论数据。真是帮了大忙了。