Albert_zh 和Google Albert的几点区别

brightmart / albert_zh

A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型

https://arxiv.org/pdf/1909.11942.pdf

3.94k stars 753 forks source link

Albert_zh 和Google Albert的几点区别 #134

Open jiezouguihuafu opened 4 years ago

jiezouguihuafu commented 4 years ago

我看了Albert_zh发布的预训练模型和Google Albert发布的预训练模型中的albert_config.json文件，有几点不同： 1）在激活函数中，Albert_zh用的是RELU，而Google Albert用的是GELU。这个明显的Albert_zh是不对的，因为原论文中用的就是GELU。 2）vocab.txt文件中，Google Albert发布的词表后面带有数字，应该是代表词频的意思。但是Albert_zh没带。所以现在比较质疑Albert_zh，不敢用了。

lonePatient commented 4 years ago

@jiezouguihuafu 某些中文任务上来说，albert_zh比google版本好，另外，针对激活函数，relu会比glue快，另外对于vocab，google对英文才使用sentencepiece，对于中文也是用的是wordpiece tokenizer

cyjj commented 4 years ago

https://github.com/google/sentencepiece/issues/328#issuecomment-493136010其实我觉得从这里看我们其实不用特别关注第二列数字吧？不能从有没有第二列来判断可信度吧。