search

Faker-lz / Topic_and_user_profile_analysis_system

基于微博的网络舆情话题分析和用户画像系统
338 stars 30 forks source link

全部安好运行后，在网页点击搜索报错 #11

Open liuyizhuo11235 opened 1 year ago

liuyizhuo11235 commented 1 year ago 
    大佬，当在前端网页点击搜索按钮时，爬虫报错

Traceback (most recent call last): File "C:\Users\hl199\Topic_and_user_profile_analysis_system-master\code\weibo_crawler\selector_parser\search_weibo_parser.py", line 22, in parse_page weibo_list = self._get_all_weibo() File "C:\Users\hl199\Topic_and_user_profile_analysis_system-master\code\weibo_crawler\selector_parser\search_weibo_parser.py", line 33, in _get_all_weibo for weibo in self._parse_weibo(): File "C:\Users\hl199\Topic_and_user_profile_analysis_system-master\code\weibo_crawler\selector_parser\search_weibo_parser.py", line 55, in _parse_weibo weibo['weibo_id'] = sel.xpath('(.//p[@Class="from"])[last()]/a[1]/@href')[0].split('/')[-1].split('?')[0] IndexError: list index out of range 似乎是微博没有返回任何东西，是我爬虫配置出错了吗？ 同时main.py报错pymongo.errors.ServerSelectionTimeoutError: 127.0.0.1:27017: [WinError 10061] 由于目标计算机积极拒绝，无法连接。 请问该怎么解决？

liuyizhuo11235 commented 1 year ago

pymongo.errors.ServerSelectionTimeoutError: 127.0.0.1:27017: [WinError 10061] 这个问题解决了，安装一个MongoDB就行（大佬应该在文档里面提一下呀） 但前面这个错误扔无法解决，感觉是爬虫proxy的设置问题。我能直接用你代码里面自带的proxy吗？还是需要另外设置proxy服务器？能不能不使用代理呀？

Faker-lz commented 1 year ago

可以不使用代理，爬虫出错大概率是没有设置cookie

liuyizhuo11235 commented 1 year ago

不使用代理就是把proxy设为127.0.0.1吗？

Faker-lz commented 1 year ago

设置成127.0.0.1再加端口就行

allurelzh commented 11 months ago

我也遇到了这个问题，请问是怎么解决的？