-
**Describe the bug**
A clear and concise description of what the bug is.
can not support dependency version chose
**To Reproduce**
Steps to reproduce the behavior:
1. Go to 'http://localhost:80…
-
文档中描述的权限功能在0.6 docker部署后使用,没有看到相关功能
所有人都可以看到所有的项目、任务、爬虫
-
**Describe the bug**
MongoDB network issue results in Crawlab master node shutdown.
Master container logs are as below.
```
crawlab_example_master | server selection error: server selection time…
-
我使用docker-compose进行部署,单机部署是OK的,
页面上有添加新的节点的操作,但添加后显示:node is waiting to be registered
多节点部署的官方文档与当前版本的配置方式似乎并不一致了?
希望解惑,非常感谢!
-
### 【問題描述】
開發團隊您好,想請教一個小弟目前開發上的問題,關於子節點部分,自己目前有部分 PC 綁定購買的資料庫,因此過去若要透過爬蟲爬取固定資料庫的資料,都是要放在該 PC 端,才能串接該資料庫 API 使用。
若目前我想將該 PC 設定成子節點,由 Master Node 派發爬蟲任務至該 PC 端執行,這樣的話該爬蟲是否能夠讀取到本機端資料庫或者訪問本機資料夾呢?
另…
-
**Describe the bug**
如题,需要安装个提取内容的包,trafilatura,pypi.org官网都找得到
,兼容python3 到了3.12了
**To Reproduce**
Steps to reproduce the behavior:
安装依赖
python
查找trafilatura
-
```bash
hosts docker logs -f crawlab_master
* Starting nginx nginx …
-
(base) root@node1:~/crawlab# docker logs fe89e23e1900
replaced api url in file: index.52bfcdbe.js
2023/07/03 14:28:12 error open /var/log/crawlab: no such file or directory
goroutine 19 [running]:
…
-
您好,我根据crawlab文档部署了一个多节点的服务,并写了一个爬虫demo
问题1:
目前爬虫已经运行完毕,可是任务依旧在运行中不会停止[如图1所示],日志也已经不再更新[如图2],请问这是什么原因呢?
脚本如图3所示,我将代码粘贴在了图3下方
问题2:
我已经将此爬虫任务手动停止,但是节点的执行器似乎依旧在被占用,我该如何释放掉?[如图4]
谢谢您的回答
图1
![imag…
-
日志被缓存在了文件系统里吗
![image](https://github.com/crawlab-team/crawlab/assets/60995035/e936380b-d33c-4fa3-b615-8ab5b5a82df6)
是否会随着任务的删除而释放掉