search

zhaogaofeng611 / TextMatch

基于Pytorch的，中文语义相似度匹配模型（ABCNN、Albert、Bert、BIMPM、DecomposableAttention、DistilBert、ESIM、RE2、Roberta、SiaGRU、XlNet）
787 stars 146 forks source link

您好，可以给我发下bert-distil-chinese模型吗，谢谢，邮箱2740738764@qq.com #4

Open ann22 opened 4 years ago

chenjun0210 commented 3 years ago

@ann22 下载地址：https://huggingface.co/adamlin/bert-distil-chinese ，但是我试了一些，没有跑成功 @zhaogaofeng611 大佬你用的transformers 对应版本是2.5.1 的吗

Yanghongli1990 commented 3 years ago

您好，bert-distil-chinese模型的json文件里 有一个参数是"hidden_size": 768,运行程序时总是提示这个参数不能赋值，是什么原因呢？呀？

zy614582280 commented 2 years ago

我也遇到了同样的问题

denghj3 commented 2 years ago

我用的是transformer 2.10，给出我的参考解决方案： 因为distilBertConfig类里用了@property来修饰hidden_size，所以就不能直接对hidden_size赋值
@property def hidden_size(self): return self.dim 可见hidden-size已经用dim的参数来代替了，且config.json里已经设了dim的参数，因此需要删除hidden_size参数。 除此外num_attention_heads(n_heads)和num_hidden_layers(n_layers)会遇到同样的问题，同解决方案。