search

brightmart / albert_zh

A LITE BERT FOR SELF-SUPERVISED LEARNING OF LANGUAGE REPRESENTATIONS, 海量中文预训练ALBERT模型
https://arxiv.org/pdf/1909.11942.pdf
3.93k stars 754 forks source link

brightmart版albert_tiny_zh模型维度错误 #97

Open luckper opened 4 years ago

luckper commented 4 years ago

使用albert_tiny_zh出现维度错误问题，ValueError: Layer weight shape (512, 128) not compatible with provided weight shape (512, 312)。 使用Google版本的albert_tiny_zh_google，则不会出现这个错误，这是什么情况？

brightmart commented 4 years ago

请按照下游任务例子，跑一下，可以跑通的

luckper commented 4 years ago

我用的是Keras，Google版本的albert_small和albert_tiny，在自己的的下游任务都没问题，就是brightmart版本的tiny模型出现上述问题，brightmart版本的tiny模型和Google版本的tiny，模型大小不一样

brightmart commented 4 years ago

Keras版本也有有的，不用自己转换呢。你可以直接用这里的albert_tiny_zh的Keras版本：bert4keras https://github.com/bojone/bert4keras

luckper commented 4 years ago

好的好的，非常感谢！

luckper commented 4 years ago

你好，什么时候可以update一个Google版本的tiny模型的预训练呢？期待中....