Closed IvanaXu closed 1 year ago
https://deeprec.readthedocs.io/zh/latest/Auto-Micro-Batch.html
AutoMicroBatch功能依赖于用户开启图优化的选项,需要注意的是,如果用户配置batch_size=1024,配置micro_batch_num=2,那么实际等价于用户之前使用batch_size=2048训练的收敛性。如果用户使用前的batch_size=512,使用large_batch_size功能配置micro_batch_num=4,那么在不改变收敛性的情况下,建议用户同时修改batch_size=128,用户接口如下:
config = tf.ConfigProto() config.graph_options.optimizer_options.micro_batch_num = 4
AutoMicroBatch功能依赖于用户开启图优化的选项,需要注意的是,如果用户配置batch_size=1024,配置micro_batch_num=2,那么实际等价于用户之前使用batch_size=2048训练的收敛性。如果用户使用前的batch_size=512,使用large_batch_size功能配置micro_batch_num=4,那么在不改变收敛性的情况下,建议用户同时修改batch_size=128,用户接口如下:
config = tf.ConfigProto() config.graph_options.optimizer_options.micro_batch_num = 4