-
**Bug 描述**
为了安装第三方依赖库,我自己更新了镜像,当docker-compose up时,master容器启动后exit。
**复现步骤**
该 Bug 复现步骤如下
1. 原镜像生成容器,安装第三方库后commit,镜像更新为tikazyq/crawlab:latest
2. docker-compose up -d启动
3. docker ps -a 发现mongo…
-
**Bug 描述**
使用docker部署成功后,上传scrapy爬虫,spider和pipeline不显示内容
**复现步骤**
该 Bug 复现步骤如下
1. 初次部署
2. 上传scrapy爬虫
3. 查看任务时没有spider 和pipeline,并报错 exit status 1
**期望结果**
scrapy爬虫能在crawlab正常运行。
**截屏…
-
感谢crawlab贡献者的付出 ,这是一个很棒的工具。
一个新的docker镜像远行代码需要配置所需环境,这需要一定时间。而还在成长的crawlab更新是常有的事。
希望能够实现在容器内部直接更新crawlab,不影响已配置好的环境。
这会帮助使用者减少升级成本。尤其对使用了几种语言做爬虫的公司,实现这一点更容易被接受并推广。
另一个建议: 其他的enhancement也有提到,在…
-
对于爬取到的数据,是否可以自己配置需要的数据库进行存储,目前非专业版中好像只能使用mongodb进行存储
-
我用cli将包含scrapy.cfg的根目录crawlab upload 但到web界面尝试运行 无法选择爬虫 显示No data,怎么处理,求助!
-
~/crawlab/backend# go install ./...
main.go:12:2: cannot find package "github.com/apex/log" in any of:
/usr/lib/go-1.10/src/github.com/apex/log (from $GOROOT)
/root/go/src/github.co…
-
已经将CRAWLAB_API_ADDRESS设置为宿主机ip,使用默认admin账号登录提示登录时出错,F12错误截图如下:
![image](https://user-images.githubusercontent.com/10532548/66696600-0ae3e080-ed00-11e9-812e-4380e62aa6e8.png)
docker日志截图如下:
![image](…
-
**Bug 描述**
进行长任务(通过redis做了分布式,爬虫master长期等待任务,不会集成result到平台,直接入库),期间如果离开滚动日志页面的话(日志页面正常),譬如回到爬虫页面,由于爬虫处于运行中,api在不断获取任务的执行状态,出现not found的弹窗报错,而且不停的报错,log日志显示是auth问题,麻烦作者看一下,谢谢,日志放在评论区了。
**复现步骤**
该 …
-
**请描述该需求尝试解决的问题**
因为全文检索的系统的数据库是用mysql,所以想爬取的数据能直接到mysql中,这样就不需要再从mongodb导到mysql了
**请描述您认为可行的解决方案**
增加统一的数据库配置接口
**考虑过的替代方案**
例如,如果用 xxx,也能解决该问题。
-
从https://juejin.im/post/5cf4a7fa5188254c5879facd 这篇文章中了解了crawlab,请问文章中提取列表算法在哪里找到?