search

douban / dpark

Python clone of Spark, a MapReduce alike framework in Python
BSD 3-Clause "New" or "Revised" License
2.69k stars 534 forks source link

在mesos 上使用docker 的方式运行 dpark ，有没有部署的文档可以参考？ #57

Closed zengzhiming closed 6 years ago

zengzhiming commented 8 years ago

在mesos 上使用docker 的方式运行 dpark ，有没有部署的文档可以参考？

windreamer commented 8 years ago
  1. mesos需要配置docker支持： http://mesos.apache.org/documentation/latest/docker-containerizer/
  2. 一个docker image并上传到你的registry:
    • 需要尽可能和你的提交环境一致
    • 安装同样版本的DPark及其依赖
    • 放入正确的/etc/dpark.conf
  3. 在提交的时候 ‘-I’ 指定运行的docker url， ‘-V’ 指定运行时需要volume的路径， 具体见 http://mesos.apache.org/documentation/latest/docker-containerizer/