请问wobert词表里有类似bert的[unused]的词吗

ZhuiyiTechnology / WoBERT

以词为基本单位的中文BERT

Apache License 2.0

455 stars 69 forks source link

请问wobert词表里有类似bert的[unused]的词吗 #1

Open moon290 opened 3 years ago

moon290 commented 3 years ago

你好，想请问一下wobert词表里有类似bert的[unused]的词吗？

ZhuiyiTechnology commented 3 years ago

简单起见我把它们精简掉了。你这边需要这些[unused]吗？在bert4keras里边可以通过compound_tokens的方式增加新词（主要是调整Embedding层而已），请仔细琢磨训练脚本 https://github.com/ZhuiyiTechnology/WoBERT/blob/master/train.py