dataabc / weibo-crawler

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
3.25k stars 739 forks source link

使用用户列表的txt文件时报“id出错” #383

Closed plutonji closed 1 year ago

plutonji commented 1 year ago

在用户列表文件中,如果每一行只写用户id可以正常运行,但如果写成 id 用户名 2023-07-14 时就报“id出错”

dataabc commented 1 year ago

感谢反馈。是不是id和用户名之间没有空格,或者有特殊字符?具体报什么错呢?

plutonji commented 1 year ago

$ cat user_id_list.txt 1670659923 月风_投资笔记 2023-07-14 $ python weibo.py user_id_list中 1670659923 月风_投资笔记 2023-07-14 id出错 信息抓取完毕


plutonji commented 1 year ago

感谢反馈。是不是id和用户名之间没有空格,或者有特殊字符?具体报什么错呢?

只有空格,文本内容和执行的输出信息见上

dataabc commented 1 year ago

这个可能是user_id不正确,有的微博同时拥有微博号和userid,都是数值,都能组成url,可能这个是微博号。

plutonji commented 1 year ago

但是我如果只保留id,是可以正常抓取的

plutonji commented 1 year ago

应该是上面这个commit引出的问题

dataabc commented 1 year ago

是我想错了,惭愧。非常感谢您反馈且发现了问题。如果您方便,您能否修复代码并提交pull request呢?这样您还能成为本项目的contributor。应该修改else后的部分代码就可以了。这不是强制的,无论您是否修复都非常感谢。我最近不方便调试,可能要过一段时间才能修复,希望理解。

plutonji commented 1 year ago

Python才学几天,不太会写,我暂时把else后面的部分去掉,保证可用先。后面等您空了再优化,谢谢

dataabc commented 1 year ago

这样也可以,也能修复上面提到的问题,非常感谢。

Andy8r0X commented 3 months ago

发现到若是删除else,在特定账号下,昵称第一字是减号"-",会发生故障,直接结束 若有无法下载情况的朋友,可以尝试加回就能成功下载