Swin-Transformer graph 完整训练实验

[Ldpe2G]

graph 1d sbp 完整训练

swin 实验分支 https://github.com/Oneflow-Inc/swin-transformer/pull/11

该实验分支主要是，基于 swin_clean_ldp_graph 分支，替换模型中的模块为 libai 库中对应的模块，然后验证精度。

有几个地方没有完全对齐的 ddp ：

• 将 lr shceduler 替换为 oneflow 内置的，画出来的 lr 曲线基本和 原来的重合，但是有些许差异
• oneflow lazy clip grad 的 pass 只支持 max norm = 1
• 因为graph shape 不能改变，测试阶段最后一个 batch 扔掉了，有16个样本没统计到 acc 里面

实验1

• dataset: CIFAR100
• model: Swin Tiny 28M
• batch size: 32

Framework	Init Method	Version	Epoch	Avg Time for Each Epoch	Acc@1	Log
DDP（历史数据）	随机初始化	master nightly 0.7.0.dev20210119+cu112	300	~58s	78.92%	log
graph 1d sbp	随机初始化	master 编译，commit id e57148c579e5596dc3303a092f336fb5384d5353	300	~36s	78.56%	log

实验结论

• 实验结果表明，模型部分用 libai 模块替换之后，graph 的精度基本也没什么大问题，也测试了一下 graph 的 save 和 load 功能，没什么问题。