search

dataabc / weibo-search

获取微博搜索结果信息，搜索即可以是微博关键词搜索，也可以是微博话题搜索
1.7k stars 372 forks source link

请问为什么更改setting的关键词之后不会生成新的结果文件 #425

Open LOUISELUO2023 opened 11 months ago

LOUISELUO2023 commented 11 months ago

运行第一次的时候生成了一个结果文件；后来更换了关键词并重启了Spyder，重新运行scrapy之后只会把结果输出到前一个结果文件里

dataabc commented 11 months ago

感谢反馈。因为默认命令行会按照进度文件继续执行之前的任务，如果更换关键词，需要把命令行crawls之后的部分换成其它名字，名字只有符合规范即可。

LOUISELUO2023 commented 11 months ago

UnicodeEncodeError of emoji

谢谢您的解答。我按照您的建议修改了命令，但是新的问题变成了微博网页里有无法识别的字符阻碍进程，好像是一个emoji。GPT提供的修改方案没法解决问题，想请问一下您有没有可以补上去的代码？谢谢！ 更新：问题已经解决了，把search.py里的print（weibo）关掉就好，也不用补充其他print相关的代码。 下面是报错的内容： 2023-11-22 10:31:08 [scrapy.core.scraper] ERROR: Spider error processing <GET https://s.weibo.com/weibo?q=%23%E8%AF%B7%E5%A4%A7%E8%8B%B1%E5%8D%9A%E7%89%A9%E9%A6%86%E6%97%A0%E5%81%BF%E5%BD%92%E8%BF%98%E4%B8%AD%E5%9B%BD%E6%96%87%E7%89%A9#%20#%E9%80%83%E5%87%BA%E5%A4%A7%E8%8B%B1%E5%8D%9A%E7%89%A9%E9%A6%86%23&typeall=1&suball=1&timescope=custom:2023-08-27-0:2023-09-10-0> (referer: None) Traceback (most recent call last): …… File "C:\Users\Administrator\weibo-search\weibo\spiders\search.py", line 538, in parse_weibo print(weibo) UnicodeEncodeError: 'gbk' codec can't encode character '\U0001f44d' in position 449: illegal multibyte sequence

2OUMERTH commented 10 months ago

运行第一次的时候生成了一个结果文件；后来更换了关键词并重启了Spyder，重新运行scrapy之后只会把结果输出到前一个结果文件里

这个我觉得有一个很简单的解决办法，你可以把第一次的运行结果改个名字就好了，这样你更改关键词，再scrapy会产生新的文件夹