search

dataabc / weibo-search

获取微博搜索结果信息，搜索即可以是微博关键词搜索，也可以是微博话题搜索
1.73k stars 375 forks source link

之前能够爬取，但是几天后重新运行代码后没有开始爬取，没有报错，直接显示程序结束 #337

Open QCCrossing opened 1 year ago

QCCrossing commented 1 year ago

"C:\Users\tonyx\Desktop\Weibo Crawler\comment\pythonProject2\Scripts\python.exe" C:\Users\tonyx\Downloads\weibo-search-master\weibo-search-master\weibo\spiders\search.py

进程已结束,退出代码0

QCCrossing commented 1 year ago

今天重新获得了账号的cookies并替换了之前的cookie，但是都是同一个账号的cookie

dataabc commented 1 year ago

可能没有保存好进度，删除进度文件crawls文件夹，重新运行

QCCrossing commented 1 year ago

谢谢您！我这就尝试一下

Get Outlook for iOShttps://aka.ms/o0ukef

From: Chen Lei @.> Sent: Saturday, March 11, 2023 11:16:10 PM To: dataabc/weibo-search @.> Cc: QCCrossing @.>; Author @.> Subject: Re: [dataabc/weibo-search] 之前能够爬取，但是几天后重新运行代码后没有开始爬取，没有报错，直接显示程序结束 (Issue #337)

可能没有保存好进度，删除进度文件crawls文件夹，重新运行

― Reply to this email directly, view it on GitHubhttps://github.com/dataabc/weibo-search/issues/337#issuecomment-1464932639, or unsubscribehttps://github.com/notifications/unsubscribe-auth/A5Q6DUZU2ZLB7SBZK2I7YJTW3SJLVANCNFSM6AAAAAAVXHSPEE. You are receiving this because you authored the thread.Message ID: @.***>

QCCrossing commented 1 year ago

可能没有保存好进度，删除进度文件crawls文件夹，重新运行

您好，我将Crawls文件删除后依然是没有报错，但是显示“进程已结束,退出代码0”，没有爬取到任何内容。 我尝试了换另一个账号，更换了cookie后依然是这样。

AmyXYY commented 1 year ago

好像是反爬虫机制

dataabc commented 1 year ago

运行scrapy crawl search有反应吗

QCCrossing commented 1 year ago

运行scrapy crawl search有反应吗

您好，没有反应，又跳转回路径了

屏幕截图 2023-03-14 151248

“C:\Users\tonyx\Desktop>cd C:\Users\tonyx\Desktop\Code Database\weibo-search-master\weibo\spiders

C:\Users\tonyx\Desktop\Code Database\weibo-search-master\weibo\spiders>scrapy crawl search

C:\Users\tonyx\Desktop\Code Database\weibo-search-master\weibo\spiders>”

dataabc commented 1 year ago

您在项目目录下运行看看。

QCCrossing commented 1 year ago

您在项目目录下运行看看。

您好，非常感谢，我在cmd项目路径下运行scrapy crawl search后能够直接爬取，但是pycharm中运行还是直接显示“进程已结束,退出代码0”

dataabc commented 1 year ago

我pycharm用的少，也不知道。您可以搜索下scrapy在pycharm运行。