dataabc / weibo-crawler

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
3.46k stars 768 forks source link

请问如何简化输出 #132

Open modun opened 4 years ago

modun commented 4 years ago

用的无cookie版,通过输出到txt再邮件发。 只想要阶段时间内某博主的微博内容,不需要用户信息,请问如何屏蔽掉,谢谢!

dataabc commented 4 years ago

修改get_user方法,把里面的self.print_user_info()注释掉就行了。

如果还有问题,欢迎继续讨论

modun commented 4 years ago

请问无cookie版支持直接将结果简化输出到txt吗?或者如何修改。 目前通过“python weibo.py >a.txt”然后再通过邮件发出,过程性内容太多不方便产看。谢谢!

dataabc commented 4 years ago

不支持txt。爬取一个用户会将结果保存在self.weibo里,你可以按自己的想法保存,self.weibo是一个list,包含全部微博。

modun commented 4 years ago

只修改这个地方就可以吧:
def print_one_weibo(self, weibo): """打印一条微博""" try: logger.info(u'微博id:%d', weibo['id']) logger.info(u'微博正文:%s', weibo['text']) logger.info(u'原始图片url:%s', weibo['pics']) logger.info(u'微博位置:%s', weibo['location']) logger.info(u'发布时间:%s', weibo['created_at']) logger.info(u'发布工具:%s', weibo['source']) logger.info(u'点赞数:%d', weibo['attitudes_count']) logger.info(u'评论数:%d', weibo['comments_count']) logger.info(u'转发数:%d', weibo['reposts_count']) logger.info(u'话题:%s', weibo['topics']) logger.info(u'@用户:%s', weibo['at_users']) logger.info(u'url:https://m.weibo.cn/detail/%d', weibo['id']) except OSError: pass

dataabc commented 4 years ago

上面的print_one_weibo是打印微博的不是保存微博。在start方法的self.get_pages()执行后,self.weibo就包含了当前用户的微博,想如何保存就按自己的意愿了。