whats the difference between `albert_tiny_zh` and `albert_tiny_google_zh`

brightmart / albert_zh

A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型

https://arxiv.org/pdf/1909.11942.pdf

3.94k stars 753 forks source link

Open zheyuye opened 2 years ago

zheyuye commented 2 years ago

我注意到这两个tiny版本略有不同，从config里看到模型size保持了一致，但是模型文件参数ckpt.data大小有差异（17.2MB vs 49.7MB）

想请教一下brightmart版本是在预训练的具体什么阶段做了哪些优化

brightmart commented 2 years ago

只是模型有一点差异。具体你可以看看model的代码。