-
During development and testing of scrapers I often find myself deleting tasks for reasons such as them being faulty due to my code or some other issues. At the same time Crawlab keeps statistics of ho…
-
我们小组准备采用Crawlab作为爬虫服务平台，用java语言，目前主要的困扰是没有java相关的demo
我按官方教程，用python实现了一个爬虫并得到了数据。
最关注的是
1.java是直接上传源码，还是上传编译后的clsss文件，还是应该上传tar包?
2.新建脚本时候，执行命令是否应该写“java -jar xx.jar”
3.爬虫我们需要三个阶段存数据，分别存原始…
-
**请描述该需求尝试解决的问题**
例如，当 xxx 时，我总是被当前 xxx 的设计所困扰。
**请描述您认为可行的解决方案**
例如，添加 xxx 功能能够解决问题。
**考虑过的替代方案**
例如，如果用 xxx，也能解决该问题。
-
**Describe the bug**
构建临时文件保留在镜像中，导致镜像体积特别大。同样的文件，比如weed在镜像中存在好几份
**To Reproduce**
```bash
$ docker run --rm crawlabteam/crawlab ls /
app
bin
boot
chromedriver_linux64.zip
dev
etc
go1.22.…
-
亲测在晚上20:00到次日凌晨是可以正常工作的
但是白天就罢工了。。。
-
每次新建一个爬虫任务都要上传一次文件，可不可以，一个项目上传一次就可以了，怎么设置呢
-
请问有国内可用的的docker镜像源吗？
-
请问使用save_item保存数据前，如何使用其他函数取数据查重？
-
官方文档得api：http://ip:port/api/tasks/task_id/logs
返回结果
{'status': 'ok', 'message': 'success', 'total': 0, 'data': None, 'error': ''}
-
IMAGE SYNC