Open gaocegege opened 6 years ago
这篇是采取了在线预测的方式,预测模型的收敛进行调度。
预测分为两部分,一部分是预测 how many more training epochs a job needs to run for convergence,另外一部分是预测 how much time a job needs to complete one training epoch given a certain amount of resources。
第一部分的预测是用 NNLS solver,针对收集的数据点进行在线的 fit。第二部分的预测,是先形式化了问题
一个定理非常有价值:
在给定 PS 和 Worker 数量的训练任务中,用越少的服务器进行训练越好。其中每个服务器上部署相同数量的 PS 和 Worker 为最佳。
证明见论文
EuroSys'18
https://i.cs.hku.hk/~cwu/papers/yhpeng-eurosys18.pdf