-
Hi,
Hope you are all well !
Is there an api available for this front-end ?
I am working on a project for scraping with gocolly and I am interested to give a try to your front.
You should che…
ghost updated
4 years ago
-
普通爬虫上传zip文件提示unauthorized,
Request URL: http://10.10.10.188:8080/api/spiders/5eeb02f9bcbf0b0018989548/upload
Request Method: POST
Status Code: 401 Unauthorized
返回数据
{status: "ok", message: "una…
yumen updated
4 years ago
-
https://github.com/crawlab-team/crawlab/issues/326
看到了这个 issues，除了这个请求提到的几个点
希望日志能增加自动删除功能，主要实现以下几点：
1、定期删除已完成的空日志结果或正常提示的任务日志，仅保留多少天内或最近多少次内；
2、包含错误及警告的已完成的非空日志可以把保留时长延长到半个月到一个月以上，保留数也大一点。
P…
-
**Bug 描述**
关闭“是否为scrapy“开关，接着执行 pip install -r requirements.txt && scrapy crawl spider,项目正常运行，在等待一段时间后（30min-1h 之后），“是否为scrapy“开关又自动打开了，由于分布式，随机节点，没有安装依赖，项目不能再次启动。
**复现步骤**
该 Bug 复现步骤如下
1. 关闭“是否…
-
**Bug 描述**
我在k8s集群中升級crawlab到0.4.9版本時，報了以下錯誤
```
* Starting nginx nginx
...done.
[GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.
…
-
**Bug 描述**
master日志
````
2020/04/16 18:12:49 error json: cannot unmarshal object into Go value of type []entity.Dependency
[GIN] 2020/04/16 - 18:12:49 | 500 | 3m21s | 127.0.0.1 |…
-
**Bug 描述**
修改项目，第二次上传zip文件报错：cannot find
**复现步骤**
该 Bug 复现步骤如下
1. Mac下打包项目根目录下文件
```
zip -r spider.zip .
```
2. 点击上传
3. 修改spider文件
4、再次打包
5、再次上传
**期望结果**
上传zip，可以覆盖原文件并且更新
**截屏**
…
-
在win10下，装的docker desktop 2.2.0.3 ，用DOCKER方式安装，
能出现登录界面，但输入密码，提示登录时出错（请查看文档 Q&A）
用docker logs master查看
内容为
* Starting nginx nginx
...done.
[GIN-debug] [WARNING] Creating an Engine instance wit…
-
1. 建议设置用户工作空间的概念，不同的用户拥有完全独立的工作空间(爬虫, 定时任务,任务,统计等)
2. 可以从其他用户空间的爬虫fork到自己的空间下
3. 严格的权限管理，超级用户可以操作所有人的工作空间，普通的用户只能在自己的工作空间操作
-
前端注册后即可登录看到爬虫内容并且还可以修改删除爬虫，权限控制不全