-
我的工作节点是本地PC的虚拟机,我的主节点是云服务器,在配置工作节点的时候,显示grpc-error,我的yml文件按照”https://docs.crawlab.cn/zh/guide/installation/docker.html#多节点部署“copy的,看了之前的帖子也没有解决问题,不知道是配置的原因,还是因为什么情况😵
~~~
# 主节点
version: '3.3'
servi…
-
**Bug 描述**
例如,当用v0.6版本集成scrapy的save_item到pipeline时候,运行报错
**复现步骤**
该 Bug 复现步骤如下
1. scrapy新项目,settings的ITEM_PIPELINES里加入 'crawlab.scrapy.pipelines.CrawlabPipeline': 888
2. 运行项目,之前OK的项目,报如下错误:
'…
-
进入了管理平台但是各种新建操作都无法完成,比如新建项目会返回下面之类的操作信息:face_with_spiral_eyes::face_with_spiral_eyes::face_with_spiral_eyes:
~~~bash
crawlab_master | [GIN] 2022/07/24 - 22:47:03 | 400 | 2.186658ms | 127.…
-
**Bug 描述**
新建爬虫 或者新建项目等操作均无反应 并且接口状态码为400
crawlab_master | /go/pkg/mod/github.com/gin-gonic/gin@v1.8.1/context.go:173 github.com/gin-gonic/gin.(*Context).Next()
crawlab_master | /go/pkg/mod/githu…
-
**Describe the bug**
After scrapy task finished, I cannot download results. Button is disabled, tooltip says Export (currently unavailable)
**To Reproduce**
just run crawlab from basic docker-com…
-
在一周前上传的文件,今天打开都是空白的
![image](https://user-images.githubusercontent.com/115385096/194736527-5a47d622-af3f-4306-bfd1-ed82faaa21ab.png)
查看docker后报错如下:
![image](https://user-images.githubusercontent.co…
XMQ66 updated
2 years ago
-
**Bug 描述**
用scrapy运行时爬虫运行两条数据后日志会卡住,取消任务后数据就正常入库了
**复现步骤**
该 Bug 复现步骤如下
1. 运行scrapy crawl xxx
2. 日志爬取几条数据后就卡住,数据库也不进数据
3. 取消任务后,数据就正常入库了
**期望结果**
能够正常入库
**截屏**
![image](https://user-im…
-
Crawlab 0.5.1版本
问题描述
在节点详情->安装 安装依赖那里。点击搜索无返回结果
问题定位
跟踪源代码,在源代码 /services/system.go 此文件中 297行的 FetchPythonDepList 方法里
// 请求URL
res, err := req.Get(url)
输出res 显示清华站点识别到访问是移动设备,所以给了个警告页面,这就…
-
import datetime
BOT_NAME = 'spidertest'
SPIDER_MODULES = ['spidertest.spiders']
NEWSPIDER_MODULE = 'spidertest.spiders'
to_day = datetime.datetime.now()
log_file_path = BOT_NAME + "/logs/sp…
-
**Bug 描述**
v 0.6.0 版本 原先 v 0.5.0 版本不会卡死。
**复现步骤**
该 Bug 复现步骤如下
1. 爬虫不知道为什么卡死,然后之后任务全部变成待定。
2. 把运行中的任务和待定任务全部停止,然后重启容器。
3. 启动新任务还是待定。
**期望结果**
为什么会卡死,怎么样能启动新的任务。
**截屏**
![image](https:…