crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架
https://www.crawlab.cn
BSD 3-Clause "New" or "Revised" License
11.38k stars 1.8k forks source link

work节点无法更新使用 #1225

Closed p59082644 closed 2 years ago

p59082644 commented 2 years ago

Bug 描述 工作节点在平台上添加成功,爬虫任务指派后长时间不显示,子节点安装包和现有环境信息,主节点也没有显示。 我在一个节点上 按照你们github 的部署方式,其他节点是可以工作的,跨节点就工作不起来了。 尝试修改work节点容器 pip源, 在master节点上也没有反应。 直接在pip 安装包,基本上都是秒装成功。 期望结果 能够正常工作。 截屏

image image image
tikazyq commented 2 years ago

可以去掉敏感信息发一下配置么 docker-compose.yml

另外还可以将docker日志附上

p59082644 commented 2 years ago

docker master和work 节点完全按照 官网的方法来安装的。 下面是work节点docker 情况 image

我尝试在主节点的机器上 也安装了一个工作节点。 他们在同一个服务器上一切工作正常。 而在另外一个服务器上的节点,始终无法安装包,也无法执行爬虫任务。 但是在节点管理,节点显示是正常的。 image

# 工作节点
version: '3.3'
services:
  worker:
    image: crawlabteam/crawlab
    container_name: crawlab_worker
    restart: always
    environment:
      CRAWLAB_NODE_MASTER: "N"  # N: 工作节点
      CRAWLAB_GRPC_ADDRESS: "<master_node_ip>:9666"  # grpc address
      CRAWLAB_FS_FILER_URL: "http://<master_node_ip>:8080/api/filer"  # seaweedfs api
    volumes:
      - "/opt/crawlab/master:/data"  # 持久化 crawlab 数据
tikazyq commented 2 years ago

是否可以执行一下查看工作节点的docker日志命令

docker logs crawlab_worker

p59082644 commented 2 years ago

下面是 crawlab_worker 的日志

image