search

dataabc / weiboSpider

新浪微博爬虫，用python爬取新浪微博数据
8.44k stars 1.98k forks source link

命令行模块化运行代码 python -m weibo_spider 参数问题 #608

Closed Znull-1220 closed 3 weeks ago

Znull-1220 commented 4 weeks ago

作者您好， 我想请教一下命令行下运行python -m weibo_spider时 如果添加--output_dir=xxx --u=xxx这些参数，参数是在哪里解析的？ 我没有在除README以外的地方搜索到这些参数以及argparse. 因为我需要爬取大量用户的历史博文，稍微爬一些就被反爬了，想写一个出现exception 等待后再继续爬取的logic，但是我找不到这些参数解析的地方

dataabc commented 4 weeks ago

在这里https://github.com/dataabc/weiboSpider/blob/master/weibo_spider/spider.py

Znull-1220 commented 3 weeks ago

感谢大佬， 才发现不是用argparse解析的 全局搜索'--u'去了