search

dataabc / weibo-search

获取微博搜索结果信息，搜索即可以是微博关键词搜索，也可以是微博话题搜索
1.71k stars 374 forks source link

cookie无效或已过期 #16

Open Mak-LokGay opened 4 years ago

Mak-LokGay commented 4 years ago

你好，近日使用该文件出现了问题：

我已经下载好所有文件，并在terminal cd到weibo-search目录并直接运行了scrapy crawl search，但是还是出现了以下问题（cookie无效或已过期）：

（以下是terminal的代码） (base) maizixindeMacBook-Pro:~ maizixin$ cd /Users/maizixin/Desktop/毕业论文/python类/test/weibo_三件套/weibo-search-master

(base) maizixindeMacBook-Pro:weibo-search-master maizixin$ scrapy crawl search cookie无效或已过期，请按照https://github.com/dataabc/weibo-search#如何获取cookie 获取cookie

另外，settings.py中除了contain_type 修改为 = 1之外再无其他改动； OS：macOS Catalina 10.15.3 Python ver: 3.7.4

请问该如何解决呢？谢谢1

dataabc commented 4 years ago

说明cookie过期了，重新获取。然后把cookie填到your cookie处。

Mak-LokGay commented 4 years ago

说明cookie过期了，重新获取。然后把cookie填到your cookie处。

Thanks for such a quick reply！

我还是第一次用您的代码，可能在操作上还不太熟悉，我下载了您的代码源“https://github.com/dataabc/weiboSpider“， ”https://github.com/dataabc/weibo-crawler“以及这个”https://github.com/dataabc/weibo-search“。

请问下载的这个weibo-serach需要和weibosuperspider的文件夹放到同一个文件夹/目录，或是将search保存在superspider的文件夹中嘛？

或者，您的意思是可以讲新的cookie直接填到spider中的config.json后再运行一次scrapy crawl search嘛？

不好意思，python小白可能阐述有些难懂或者晦涩，如果不是您的意思的话麻烦您再给多些指示哈！

dataabc commented 4 years ago

这是三个项目，所以weibo-search放哪里都可以。

本项目的cookie要填到setting.py文件的DEFAULT_REQUEST_HEADERS后面，它等号后面有一个cookie属性，把你的cookie填到cookie后面的"your cookie"处就可以。更准确的说是用你的cookie替换setting.py里的”your cookie“，然后cd到weibo-search文件夹下运行

$ scrapy crawl search -s JOBDIR=crawls/search
Mak-LokGay commented 4 years ago

这是三个项目，所以weibo-search放哪里都可以。

本项目的cookie要填到setting.py文件的DEFAULT_REQUEST_HEADERS后面，它等号后面有一个cookie属性，把你的cookie填到cookie后面的"your cookie"处就可以。更准确的说是用你的cookie替换setting.py里的”your cookie“，然后cd到weibo-search文件夹下运行

$ scrapy crawl search -s JOBDIR=crawls/search

明白，十分感激，运行后再给您进行反馈！十分感激！