-
**Bug 描述**
描述:即使挂载数据卷到/data,docker 实例重启或升级后,之前上传的爬虫文件会消失,以及无法上传文件,前端接口报错为:
{"status":"ok","message":"error","data":null,"error":"Post \"http://localhost:8888/fs/63b3c6f00510e5745ff82250/index.js\": …
-
Creating network "crawlab_default" with the default driver
ERROR: Failed to Setup IP tables: Unable to enable SKIP DNAT rule: (iptables failed: iptables --wait -t nat -I DOCKER -i br-ec15892add61 -j…
-
定时任务开启多个时,任务会堆积,出现一大堆任务待定,但实际每个节点只执行了一到两个任务
1.开启多个定时任务
2.实际节点中执行器情况
3.任务堆积,大量待定状态
-
**Bug 描述**
在爬虫详情配置页,git 模块,点击拉取无反应,日志提示需要认证,但是在配置页已经添加认证账户和密码
**版本描述**
***docker & docker-compose***
![5876b19387359109b90e01297c4cd46](https://user-images.githubusercontent.com/42339196/19986…
-
**Bug 描述**
每次更新docker镜像后,原来的爬虫就不能正常调度了。一直是待定状态。
**复现步骤**
该 Bug 复现步骤如下
1. 更新docker 镜像。重启crawlab服务。
2. 重启crawlab服务。
3. 调度以前的爬虫项目。
**期望结果**
任务调度恢复正常。不用再删除爬虫重新添加。
**截屏**
![截屏1](http://static…
-
**Bug 描述**
社区版v6.0 latest
普通脚本+selenium+crawlab正常运行selenium,
scrapy+selenium+crawlab无法运行selenium的webdriver.get,
进入docker的项目文件夹scrapy+selenium可以正常运行selenium
**复现步骤**
如下代码, 已经把/dev/shm映射到宿主
```…
-
**Bug 描述**
本人是windows下使用wsl提供的linux能力,安装好docker后,使用docker-compose up -d启动容器后,一分钟内crawlab容器停止,mongo容器运行正常。
**复现步骤**
版本:0.6.1
docker-compose.yml内容如下:
version: '3.3'
services:
master:
i…
-
请问作者,社区版的对于爬取任务数量有限制吗?
-
**Describe the bug**
I've tried this in docker running :develop and :latest, but i get `invalid character '-' in numeric literal` when trying to upload a Scrapy project using the SDK CLI. I've tried …
-
**Bug 描述**
定时任务触发时报错,该爬虫任务手动执行时无问题,只配置了主节点,节点未满载,尝试过重启容器无效
**截屏**
爬虫配置
![image](https://user-images.githubusercontent.com/8036359/159691734-c3b82f91-0d6d-4b48-8f24-db36a7f373fa.png)
定时任务配置
…