search

dataabc / weibo-search

获取微博搜索结果信息，搜索即可以是微博关键词搜索，也可以是微博话题搜索
1.75k stars 377 forks source link

提取bid或者其他信息的时候，执行时常常会出现AttributeError，比如split或者replace #262

Open sanmu233 opened 2 years ago

sanmu233 commented 2 years ago

File "D:\PythonPro\weibo-search-master\weibo-search-master\weibo\spiders\search.py", line 356, in parse_weibo weibo['bid'] = sel.xpath(AttributeError: 'NoneType' object has no attribute 'split')

sanmu233 commented 2 years ago

看了后面的，好像也有人出现了这样的问题，解决方案是把所有的p[@class="from"]改成div[@class="from"] 有人也说最好不要改retweet，因为这部分在微博中好像依旧是p而不是div没改 但是无论如何把p改成div确实可以跑，感谢前面的大佬的交流，微博页面大概改了一下标记，毕竟以前是可以跑的

wl-wus commented 2 years ago

还是不行，改过之后还是报错，请问该怎么解决？

yiweiyi121 commented 2 years ago

我改了之后还是不对，出来的运行结果还是一样

wl-wus commented 2 years ago

把Class改成class 小写就可以跑了

yiweiyi121 commented 2 years ago

把Class改成class 小写就可以跑了

可以了，太棒了

JasonZ023 commented 2 years ago

解决办法 https://github.com/dataabc/weibo-search/issues/254#issuecomment-1245660105

xixihaon commented 2 years ago

还是不行，改过之后还是报错，请问该怎么解决？ 我按照大佬们的指导只把前三个的p改成了div，之后再运行启动的代码就没反应（cmd很快就到了下一次提示输入行），之后又看了帖子说把新生成的crawl文件夹删了，删了之后又重新运行启动代码就能看到爬到的数据了！

puppyK commented 2 years ago

把Class改成class 小写就可以跑了

可以了，太棒了

我这边本来就是小写的 程序跑不了呀 weibo['bid'] = sel.xpath(AttributeError: 'NoneType' object has no attribute 'split'这个错误

puppyK commented 2 years ago

解决办法 #254 (comment)

你现在程序能跑吗我用老版本cookie也是同样错误

JasonZ023 commented 2 years ago

解决办法 #254 (comment)

你现在程序能跑吗我用老版本cookie也是同样错误

可以啊，你用最新的代码，然后用旧版本微博的cookie就可以正常拉取数据了

JasonZ023 commented 2 years ago

解决办法 #254 (comment)

你现在程序能跑吗我用老版本cookie也是同样错误

我之前用新的web版本cookie就会报issue所说的错误，但是改用旧版web微博的cookie就正常了，不需要去代码的大小写问题。

我跑的是最新代码哇

puppyK commented 2 years ago

奇怪我也是重新下载了代码 然后用的https://weibo.cn/上的cookie 还是这个错误

puppyK commented 2 years ago

解决办法 #254 (comment)

您好可以联系交流一下嘛

JasonZ023 commented 2 years ago

解决办法 #254 (comment)

您好可以联系交流一下嘛

可以啊，可以私信我的email，flyingpigfp@163.com @puppyK

00fq00 commented 2 years ago

您好，请问问题解决了吗？我的一直显示TypeError: expected string or bytes-like object