混合精度训练与模型并行适配

[bindog]

https://bindog.github.io/blog/2020/04/12/model-parallel-with-apex/

背景 混合精度训练 模型并行改造 重写@staticmethod backward中的问题修复 使用sparse tensor 总结 参考文献背景混合精度训练出现了有好几年的时间了，由于前东家的卡是老古董的GTX 1080 Ti，不支持FP16，一直没...