Open zheyuye opened 2 years ago
我注意到这两个tiny版本略有不同, 从config里看到模型size保持了一致, 但是模型文件参数ckpt.data大小有差异(17.2MB vs 49.7MB)
ckpt.data
想请教一下brightmart版本是在预训练的具体什么阶段做了哪些优化
只是模型有一点差异。具体你可以看看model的代码。
我注意到这两个tiny版本略有不同, 从config里看到模型size保持了一致, 但是模型文件参数
ckpt.data
大小有差异(17.2MB vs 49.7MB)想请教一下brightmart版本是在预训练的具体什么阶段做了哪些优化