search

ymcui / Chinese-BERT-wwm

Pre-Training with Whole Word Masking for Chinese BERT（中文BERT-wwm系列模型）
https://ieeexplore.ieee.org/document/9599397
Apache License 2.0
9.57k stars 1.38k forks source link

RBT3、RBTL3相关介绍 #94

Closed kinghuin closed 4 years ago

kinghuin commented 4 years ago

请问可以简单介绍一下RBT3、RBTL3吗？ 例如它的蒸馏细节。期待回复。

ymcui commented 4 years ago

你好，RBT3和RBTL3是没有经过蒸馏的。 具体介绍可以查看：https://github.com/ymcui/Chinese-BERT-wwm#小参数量模型 或者我们的微信公众号文章：https://mp.weixin.qq.com/s?__biz=MzU2NDQ3MTQ0MA==&mid=2247485258&idx=1&sn=9a70f909de0bca4f2a06274128e81e3a&chksm=fc4b34b5cb3cbda36351489df75d70563e6a03a35a6569fc8de4d5912984a318c3347798d841&token=1374514159&lang=zh_CN#rd

如果想在这上面继续进行知识蒸馏，可以使用我们的TextBrewer工具包：https://github.com/airaria/TextBrewer

ymcui commented 4 years ago

如有新问题可随时reopen