search

trueto / medbert

本项目开源硕士毕业论文“BERT模型在中文临床自然语言处理中的 应用探索与研究”相关模型
Apache License 2.0
96 stars 12 forks source link

medbert-kd是怎么训练的？ #1

Closed GanjinZero closed 3 years ago

trueto commented 3 years ago

使用知识蒸馏工具TextBrewer以阿里巴巴开源的MC-BERT模型作为教师模型，MedBERT-wwm作为学生模型，在中文临床问句-问句匹配数据集（CMedQQ）中进行蒸馏学习得到的MedBERT-kd