search

snowkylin / tensorflow-handbook

简单粗暴 TensorFlow 2 | A Concise Handbook of TensorFlow 2 | 一本简明的 TensorFlow 2 入门指导教程
https://tf.wiki
3.94k stars 841 forks source link

多机训练问题 #26

Open cdj0311 opened 4 years ago

cdj0311 commented 4 years ago

您好，感谢分享， 请教一个多机训练问题。 使用keras和tf.distribute.experimental.MultiWorkerMirroredStrategy()进行多机训练时，batch_size=batch_size * worker_num，那么输入的数据(tfrecord格式)需要切分成worker_num份吗？如果不切分，每个worker都读取所有的数据，这种分布式策略会不会自动对数据进行分发呢？