search

huawei-noah / Pretrained-Language-Model

Pretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab.
3.03k stars 627 forks source link

Evaluate TinyBERT on Chinese tasks #108

Open letiantony opened 3 years ago

letiantony commented 3 years ago

TinyBERT在中文上效果如何呢？请问后续还是开放中文版的预训练模型吗？

TanyaZhao commented 3 years ago

同问，感谢！

zyy-g commented 3 years ago

模型已上传到https://huggingface.co/huawei-noah/TinyBERT_6L_zh 和 https://huggingface.co/huawei-noah/TinyBERT_4L_zh。 模型效果可以参考中文Clue评测榜单，四层模型结果基本与tinynezha四层结果持平，六层模型经过蒸馏的效果与12层老师模型相差1%左右

failable commented 3 years ago

@zyy-g 这两个是general还是task-specific?是哪个task？

zyy-g commented 3 years ago

这两个是general模型

---Original--- From: @.> Date: Sun, May 23, 2021 16:01 PM To: @.>; Cc: @.**@.>; Subject: Re: [huawei-noah/Pretrained-Language-Model] Evaluate TinyBERT on Chinese tasks (#108)

@zyy-g 这两个是general还是task-specific?是哪个task？

— You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

LiuChiachi commented 3 years ago

模型已上传到https://huggingface.co/huawei-noah/TinyBERT_6L_zh 和 https://huggingface.co/huawei-noah/TinyBERT_4L_zh。 模型效果可以参考中文Clue评测榜单，四层模型结果基本与tinynezha四层结果持平，六层模型经过蒸馏的效果与12层老师模型相差1%左右

您好！我想请教一下，中文的tinybert的教师模型是哪个呢？谢谢！

zyy-g commented 3 years ago

老师模型使用的是谷歌提供的Bert-base，理论上用更好的老师模型蒸馏可以获得更好的效果。------------------ 原始邮件 ------------------ @.> 发送时间: 2021年5月25日(星期二) 下午4:02 @.>; @.**@.>; 主题: Re: [huawei-noah/Pretrained-Language-Model] Evaluate TinyBERT on Chinese tasks (#108)

LiuChiachi commented 3 years ago

老师模型使用的是谷歌提供的Bert-base，理论上用更好的老师模型蒸馏可以获得更好的效果。------------------ 原始邮件 ------------------ @.> 发送时间: 2021年5月25日(星期二) 下午4:02 @.>; @.**@.>; 主题: Re: [huawei-noah/Pretrained-Language-Model] Evaluate TinyBERT on Chinese tasks (#108)

Thanks!