search

ymcui / Chinese-BERT-wwm

Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）
https://ieeexplore.ieee.org/document/9599397
Apache License 2.0
9.67k stars 1.39k forks source link

chinese-roberta-wwm-ext-large中的config.json参数pooler_fc_size有误 #152

Closed JiaqiYao closed 4 years ago

JiaqiYao commented 4 years ago

按照我的理解应该是1024，但是config.json里面写的是768

ymcui commented 4 years ago

原版英文BERT-large即是如此。 https://github.com/google-research/bert

ymcui commented 4 years ago

你把152关掉了，我就这里回复你吧。如果你试试transformers库的分类模型，就会发现它调用pooler_fc_size设置分类最后一层参数的输入的size。而且只要原版如此，就不管对错，也不分析，有点不大好吧 -------分割线------- 关掉也可以继续回复。本目录已经声明是基于TensorFlow为主。 如果config有误也是因为transformers库本身转换的问题，你可以去transformers库的issues里提问。

P.S. 大家都没有义务一定要回复谁的，换位思考一下你这个issue直接过期被关掉了是不是更能接受？