crawlab-team / crawlab

Distributed web crawler admin platform for spiders management regardless of languages and frameworks. 分布式爬虫管理平台,支持任何语言和框架
https://www.crawlab.cn
BSD 3-Clause "New" or "Revised" License
11.39k stars 1.8k forks source link

crawlab-master安装在虚拟机上,重启后项目文件丢失 #807

Closed georgeJzzz closed 4 years ago

georgeJzzz commented 4 years ago

crawlab-master安装在虚拟机上,重启后项目文件丢失 在虚拟机crawlab-master:192.168.3.211上运行,monogdb和redis是在本地192.168.3.244。电脑重启后,crawlab-master上面的项目和爬虫文件丢失。 mongodb和redis数据库中数据存在。 这种情况多次出现,希望开发大佬调试解决下这个问题。

定时任务很多,重启后又需要重新配置 定时任务很多,重启后又需要重新配置,能否读取一个固定格式文件导入定时任务设置

表述的是否明白呢 不知表述是否清楚明白,我可再次复现这种情况。 操作是通过docker 安装的 配置如下

docker run -it -d --restart always --name crawlab_master \ 
-p 8999:8080 \
-e CRAWLAB_SERVER_MASTER=Y \ 
-e CRAWLAB_MONGO_HOST=192.168.3.211 \ 
-e CRAWLAB_MONGO_PORT=27017 \ 
-e CRAWLAB_MONGO_DB=crawlab \ 
-e CRAWLAB_MONGO_USERNAME=xxxx\ 
-e CRAWLAB_MONGO_PASSWORD=xxxx\ 
-e CRAWLAB_MONGO_AUTHSOURCE=xxxx\ 
-e CRAWLAB_REDIS_ADDRESS=192.168.3.211 \ 
-e CRAWLAB_REDIS_PORT=6379 \ 
-e CRAWLAB_REDIS_DATABASE=1 \ 
-e CRAWLAB_REDIS_PASSWORD=xxxx\ 
tikazyq/crawlab:latest
tikazyq commented 4 years ago

您需要持久化 MongoDB,具体方法是在默认的 docker-compose.yml 里将 volume 这个配置放开注释

georgeJzzz commented 4 years ago

您需要持久化 MongoDB,具体方法是在默认的 docker-compose.yml 里将 volume 这个配置放开注释

谢谢张哥回复,之前使用过docker-compose.yml安装,感觉有点麻烦,后来部署时预先安装好数据库调度的, docker安装配置在上面第三点 是这样的,我想使用win10系统本地monogdb和redis调度各个工作节点; 数据库都是预先安装好的,数据应该不需要持久化挂载的。 或者虚拟机(192.168.3.211)怎么挂载本地的monogdb(192.168.3.244:27017)呢? 望解惑

tikazyq commented 4 years ago

docker run 需要加 -v 参数

georgeJzzz commented 4 years ago

docker run 需要加 -v 参数

张哥,这个-v参数有想过挂载下,但是monogdb数据库是win10下的,具体操作还是不清楚,我查查win10系统下怎么和虚拟机的文件进行挂载相关;

然后这个问题解决了,删除对应的docker container,重新创建,爬虫项目和定时任务设置等又能看到了。 产生的情况是主机这边意外断电后,重启虚拟机后发生的; 具体原因我这边不太清楚。 触发性还挺高的(意外断过4次电, 触发这种情况有3次了)。

这个issues可以关闭了,暂时解决