Qihoo360 / hbox

AI on Hadoop
Apache License 2.0
1.73k stars 385 forks source link

需要hadoop集群中安装对应深度学习运行环境嘛? #2

Closed tankle closed 6 years ago

tankle commented 6 years ago

比如想运行MXNet,需要hadoop集群的每台机器都安装MXNet的运行环境嘛?还是只要client端安装就行

ouyangwen-it commented 6 years ago

可以不需要在集群安装运行环境,在XLearning客户端提交作业时,可通过--file、--cacheFile或--cacheArchive指定框架对应版本、依赖库等文件,并根据需求在运行脚本中指定PYTHONPATH环境变量,如export PYTHONPATH=./:$PYTHONPATH。用户可以此来使用自己所需的框架版本或依赖库,而不受限于计算机器所提供的依赖环境。