-
**Describe the bug**
按照官方文档安装crawlab后,运行selenium爬虫Chrome crashed.
**To Reproduce**
1. 通过docker-compose安装crawlab
```
version: '3.3'
services:
master:
image: crawlabteam/crawlab
con…
-
**Describe the bug**
如题,需要安装个提取内容的包,trafilatura,pypi.org官网都找得到
,兼容python3 到了3.12了
**To Reproduce**
Steps to reproduce the behavior:
安装依赖
python
查找trafilatura
-
```bash
hosts docker logs -f crawlab_master
* Starting nginx nginx …
-
### 【問題描述】
開發團隊您好,想請教一個小弟目前開發上的問題,關於子節點部分,自己目前有部分 PC 綁定購買的資料庫,因此過去若要透過爬蟲爬取固定資料庫的資料,都是要放在該 PC 端,才能串接該資料庫 API 使用。
若目前我想將該 PC 設定成子節點,由 Master Node 派發爬蟲任務至該 PC 端執行,這樣的話該爬蟲是否能夠讀取到本機端資料庫或者訪問本機資料夾呢?
另…
-
(base) root@node1:~/crawlab# docker logs fe89e23e1900
replaced api url in file: index.52bfcdbe.js
2023/07/03 14:28:12 error open /var/log/crawlab: no such file or directory
goroutine 19 [running]:
…
-
日志被缓存在了文件系统里吗
![image](https://github.com/crawlab-team/crawlab/assets/60995035/e936380b-d33c-4fa3-b615-8ab5b5a82df6)
是否会随着任务的删除而释放掉
-
您好,我根据crawlab文档部署了一个多节点的服务,并写了一个爬虫demo
问题1:
目前爬虫已经运行完毕,可是任务依旧在运行中不会停止[如图1所示],日志也已经不再更新[如图2],请问这是什么原因呢?
脚本如图3所示,我将代码粘贴在了图3下方
问题2:
我已经将此爬虫任务手动停止,但是节点的执行器似乎依旧在被占用,我该如何释放掉?[如图4]
谢谢您的回答
图1
![imag…
-
**Describe the bug**
On crawlab pro (permanent) version multiple deployed worker nodes are interpreted as one and the same worker. That is more than one workers being deployed shows only one worker…
-
hi, i tried to install https://docs.crawlab.cn/en/guide/installation/docker.html#main-process
using docker compose import:
![image](https://user-images.githubusercontent.com/69077240/230104097-17a1…
-
**环境版本**
>win 10
>crawlab Community v0.6.1
**Describe the bug**
[参考文档](https://docs.crawlab.cn/zh/guide/installation/docker.html#%E5%8D%95%E8%8A%82%E7%82%B9%E9%83%A8%E7%BD%B2)想持久化数据,执行 docker-co…