search

starFalll / Spider

新浪微博爬虫(Sina weibo spider)，百度搜索结果 爬虫
MIT License
192 stars 57 forks source link

运行weibo_spider.py报错 #1

Closed HanamiEria closed 5 years ago

HanamiEria commented 5 years ago

会报一个这样的错：FileNotFoundError: [Errno 2] No such file or directory: 'cookies.pkl' 报错具体如下：

(WeiboSpider)jiang@ubuntu:~/Spider/weibo$ sudo python3.5 weibo_spider.py Traceback (most recent call last): File "weibo_spider.py", line 205, in <module> main() File "weibo_spider.py", line 194, in main cookies = pickle.load(open('cookies.pkl', 'rb')) FileNotFoundError: [Errno 2] No such file or directory: 'cookies.pkl'

starFalll commented 5 years ago

@HanamiEria 你可以检查一下是否按照了 weibo_spider.py 的运行流程使用该程序：

0.安装浏览器驱动，请先阅读我的这篇文章 1.若是使用的虚拟环境，每次运行前使用 source env.sh 命令进入虚拟环境 2.首先根据自己的情况修改 conf.yaml ，该配置文件内有详细说明，不需要cookies，但是需要填写用户名和密码 3.然后运行 Create_all.py 创建MySQL表 4.接着运行 weibo_spider.py 爬取微博用户资料和动态并保存在数据库中 5.然后分别运行 Data_analysis.py ，LDA_Analysis.py 对数据进行处理 6.得到数据处理结果（默认为 weibo.jpg，weibo_wordfrq.html，weibo_dynamic.html，lda.html）