Qihoo360 / hbox

AI on Hadoop
Apache License 2.0
1.73k stars 384 forks source link

xlearning是否能够支持Tensorflow的输入文件自动分割 #34

Closed sinllychen closed 3 months ago

sinllychen commented 6 years ago

xlearning默认的tensorflow任务运行方式输入是要求用户自己分割好文件,即ps 的数目要小于或等于输入文件的个数。 而对于input strategy,之前有咨询过Stream模式的输入策略,这个策略要求输入是标准输入。那么对于文件输入的话,xlearning是否支持自动分割文件?

liyuance commented 6 years ago

xlearning集成了inputformat可以实现对文件的切割。如果不想从标准输入,建议先把标准输入的数据预先读取一遍放到本地磁盘,然后提供给tensorflow试用。