Open cdj0311 opened 4 years ago
您好,感谢分享, 请教一个多机训练问题。 使用keras和tf.distribute.experimental.MultiWorkerMirroredStrategy()进行多机训练时,batch_size=batch_size * worker_num,那么输入的数据(tfrecord格式)需要切分成worker_num份吗?如果不切分,每个worker都读取所有的数据,这种分布式策略会不会自动对数据进行分发呢?
您好,感谢分享, 请教一个多机训练问题。 使用keras和tf.distribute.experimental.MultiWorkerMirroredStrategy()进行多机训练时,batch_size=batch_size * worker_num,那么输入的数据(tfrecord格式)需要切分成worker_num份吗?如果不切分,每个worker都读取所有的数据,这种分布式策略会不会自动对数据进行分发呢?