dataabc / weibo-crawler

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
3.25k stars 739 forks source link

进行了一点优化和bug修改 #362

Closed hjyssg closed 1 year ago

hjyssg commented 1 year ago

从上到下

  1. 添加shuffle,不要每次user下载都是固定顺序
  2. 每个用户的漫长sleep给提示,否则用户会以为卡死了
  3. 下载的bug修改。之前的"sqlite" in self.write_mode为false就一定重新下载
  4. array range追加判断,避免报错吓到用户
dataabc commented 1 year ago

感谢热心贡献代码,非常有用的修改,已merge。

hjyssg commented 1 year ago

谢谢。其实下载过程中的loggee.debug有点激进,输出的有点多。

关于config.json,现在用户看仔细阅读readme才不会出问题。我可能还会做一个pr提高可用性。

hjyssg commented 1 year ago

我的设想是用.ini格式做config ini格式支持注释,语法也很简单。

dataabc commented 1 year ago

ini确实更好,期待新的pr。