search

yongzhuo / Keras-TextClassification

中文长文本分类、短句子分类、多标签分类、两句子相似度（Chinese Text Classification of Keras NLP, multi-label classify, or sentence classify, long or short），字词句向量嵌入层（embeddings）和网络层（graph）构建基类，FastText，TextCNN，CharCNN，TextRNN, RCNN, DCNN, DPCNN, VDCNN, CRNN, Bert, Xlnet, Albert, Attention, DeepMoji, HAN, 胶囊网络-CapsuleNet, Transformer-encode, Seq2seq, SWEM, LEAM, TextGCN
https://blog.csdn.net/rensihui
MIT License
1.77k stars 404 forks source link

预训练模型加载问题 #84

Closed fuguanyu closed 11 months ago

fuguanyu commented 1 year ago

加载albert_base_zh预训练模型时，加载的.ckpt文件与预训练模型不一致 请问有没有什么好的办法解决？ image image

yongzhuo commented 1 year ago

不支持谷歌的albert的权重, 默认是https://github.com/brightmart/albert_zh这个，你要用的话只有自己改权重了，就是替换下state_dict的key就好

hideinhat commented 1 year ago

不支持谷歌的albert的权重, 默认是https://github.com/brightmart/albert_zh这个，你要用的话只有自己改权重了，就是替换下state_dict的key就好

请教一下，默认是下图的第三个模型吗？使用第一个albert_tiny_zh需要改权重吗？ image

yongzhuo commented 11 months ago

应该是的