Closed flower-with-safe closed 1 year ago
主要修改: 1.optimizer参照论文修改为Adafactor,节约显存。 2.加入horovod分布式训练。 3.手动实现accumulation steps,扩大batch size。
主要修改: 1.optimizer参照论文修改为Adafactor,节约显存。 2.加入horovod分布式训练。 3.手动实现accumulation steps,扩大batch size。