爬取微博话题的问题

topiccrawler / jkcrawler

使用 Scrapy 写成的 JK 爬虫，图片源自哔哩哔哩、Tumblr、Instagram，以及微博、Twitter

GNU General Public License v3.0

115 stars 28 forks source link

爬取微博话题的问题 #2

Closed hiredy closed 4 years ago

hiredy commented 5 years ago

在爬取微博话题的时候遇到问题，不知道怎么去修改爬取的话题，还有保存的格式

CourierKyn commented 5 years ago

见 jkcrawler/spiders/m_weibo.py，若要更换爬取的话题应修改 start_urls，然后保存的格式是指什么？

hiredy commented 5 years ago

你说的我修改了，但是无法运行，可能是我转码的时候遇到的问题，因为这个保存的可能涉及到gif和jpg这几种方式，这个问题不知道出在了哪里！麻烦你帮助一下

CourierKyn commented 5 years ago

你把这个 repository fork 一下，我看看你的 fork 的代码

在 2019年11月2日，上午9:53，Redy notifications@github.com 写道：

你说的我修改了，但是无法运行，可能是我转码的时候遇到的问题，因为这个保存的可能涉及到gif和jpg这几种方式，这个问题不知道出在了哪里！麻烦你帮助一下

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.