search

crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台，支持任何语言和框架
https://www.crawlab.cn
BSD 3-Clause "New" or "Revised" License
11.38k stars 1.8k forks source link

爬虫任务持续执行不结束，手动结束无法释放执行器占用 #1408

Closed whoishuhu closed 1 year ago

whoishuhu commented 1 year ago

您好，我根据crawlab文档部署了一个多节点的服务，并写了一个爬虫demo 问题1： 目前爬虫已经运行完毕，可是任务依旧在运行中不会停止[如图1所示]，日志也已经不再更新[如图2]，请问这是什么原因呢？ 脚本如图3所示，我将代码粘贴在了图3下方 问题2： 我已经将此爬虫任务手动停止，但是节点的执行器似乎依旧在被占用，我该如何释放掉？[如图4] 谢谢您的回答

图1 image 图2 image 图3 image `import requests

if name == 'main': url = 'https://www.baidu.com' headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36', } html = requests.get(url, headers=headers, timeout=15).text print(html) ` 图4 image

whoishuhu commented 1 year ago

镜像版本问题 建议不要用aliyun镜像 他们版本是旧的