search

dataabc / weibo-search

获取微博搜索结果信息，搜索即可以是微博关键词搜索，也可以是微博话题搜索
1.7k stars 372 forks source link

PermissionError: [Errno 13] Permission denied: '结果文件\\XXXX\\XXXX.csv' #161

Open LhCmilk opened 2 years ago

LhCmilk commented 2 years ago

您好，请问在运行的时候cmd一直显示标题处的话语，permission denied是什么意思呢，这是否会导致数据无法输出到csv文件夹呢？来自一个python小白的弱弱提问，可是看网上搜寻过后也没能找到合适的解决方法。并且卡在这里之后就一直重复爬取，参考了#66的方法替换了 parse by hour 的代码也没能够解决。 具体显示如下： 'bid': 'L2QR222RJ', 'comments_count': '0', 'created_at': '2021-11-23 20:47', 'id': '4706798320487675', 'location': '', 'pics': ['https://wx2.sinaimg.cn/large/006rTUIigy1gwpdfkhrm5j30u00kn455.jpg'], 'reposts_count': '0', 'retweet_id': '', 'screen_name': '徐徐而来xx', 'source': 'iPhone客户端', 'text': '每日一善💫#阳光信用#💫#每日一善#要践行绿水青山就是金山银山的理念，推动国土绿化高质量发展，统筹山水林田湖草系统治理，因地制宜深入推进大规模国土绿化行动，持续推进森林城市、森林乡村建设，着力改善人居环境，做到四季常绿、季季有花，发展绿色经济，加强森林管护，推动国土绿化不断取得实实在在的成效。要推动经济高质量发展，把供给侧结构性改革聚焦到补短板上来，巩固“三去一降一补”成果，坚定不移深化改革开放，增强微观主体活力，提升产业链水平，畅通经济循环，推动农牧业高质量发展，促进城乡区域协调发展。要坚持生态优先、绿色发展，在集中集聚集约上找出路，加强草原保护，强化土地沙化荒漠化防治工作，保护好生态环境，筑牢我国北方重要生态安全屏', 'topics': '阳光信用,每日一善', 'user_id': '5909084114', 'video_url': ''}, 'keyword': '城市治理'} Traceback (most recent call last): File "d:\anaconda\lib\site-packages\twisted\internet\defer.py", line 662, in _runCallbacks current.result = callback(current.result, *args, *kw) File "d:\anaconda\lib\site-packages\scrapy\utils\defer.py", line 150, in f return deferred_from_coro(coro_f(coro_args, **coro_kwargs)) File "D:\weibopachong\weibo-search-master\weibo\pipelines.py", line 32, in process_item with open(file_path, 'a', encoding='utf-8-sig', newline='') as f: PermissionError: [Errno 13] Permission denied: '结果文件\城市治理\城市治理.csv'

dataabc commented 2 years ago

感谢反馈。因为你可能打开了该文件，这样就不能写入了，关闭后重新运行吧

LhCmilk commented 2 years ago

55 感谢！然后我又遇到了新的问题，会有一段时间连续且多段地显示无法连接主机的提醒，请问这是因为电脑运行时间太长了么 ，使用的是windows ，并且在抓图片的时候有时还会出现抓取失败尝试3次的字样： ①无法连接：2022-02-24 19:57:55 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://wx1.sinaimg.cn/large/6780b552ly1gwgppnp0x3j20pf16f123.jpg> (failed 3 times): An error occurred while connecting: 10065: 套接字操作尝试一个无法连接的主机。 ②图片抓取失败：2022-02-24 20:16:45 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://wx3.sinaimg.cn/large/6e5e12d7ly1gwf1e6budvj20n01dse81.jpg> (failed 3 times): [, ] ③超时？：2022-02-24 20:17:06 [scrapy.downloadermiddlewares.retry] ERROR: Gave up retrying <GET https://wx1.sinaimg.cn/large/c01709c8ly1gwew0c5m5aj21hc0u0npd.jpg> (failed 3 times): User timeout caused connection failure: Getting https://wx1.sinaimg.cn/large/c01709c8ly1gwew0c5m5aj21hc0u0npd.jpg took longer than 180.0 seconds..

dataabc commented 2 years ago

就是速度太快了，放慢速度会减少这种情况。