search

666ghj / Weibo_PublicOpinion_AnalysisSystem

An excellent Weibo public opinion analysis and prediction system.
GNU General Public License v2.0
16 stars 3 forks source link

子页面很多访问点击报错 #1

Open jankscham opened 4 months ago

jankscham commented 4 months ago

你好兄弟，请问这个很多子页面点击报错，查了源码看了是没有文章和评论数据，爬取的代码网站访问报错是咋回事，有爬好的数据么可以分享下么，博主好人qaq！ 'https://weibo.com/ajax/feed/hottimeline'比如这个报错： requests.exceptions.ConnectionError: ('Connection aborted.', ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

666ghj commented 4 months ago

你直接拉下来项目默认连接的我们的远程数据库，当然无法访问。可以更改query.py，saveData.py，wordCloudPicture.py这三个文件中的数据库配置，使用你的数据库来完成。项目默认五小时爬取一次数据，当然你也可以更改app.py入口文件中的调度配置来设定频率，项目初始时，建议你手动运行main.py爬取一次数据。

666ghj commented 4 months ago

我看你的提交时间是九小时前，请你现在重新拉取一下最新版的项目代码。你这个报错还可能是因为爬虫使用的是我们自己的cookie，你可以自己浏览器登录微博，把带cookie的请求头替换到项目中，应该就可以爬取成功了。如果还有问题随时联系我！

666ghj commented 4 months ago

model2文件夹中的话题识别模型，太大了，我就没往仓库传，你可以看这个文件夹下的readme进行操作