请问有尝试过在sequence labelling任务上验证过能力么？

huawei-noah / Pretrained-Language-Model

Pretrained language model and its related optimization techniques developed by Huawei Noah's Ark Lab.

3.02k stars 628 forks source link

Closed 1024er closed 4 years ago

itsucks commented 4 years ago

你指的是Nezha模型还是TinyBERT呢？

1024er commented 4 years ago

你指的是Nezha模型还是TinyBERT呢？

TinyBERT

itsucks commented 4 years ago

你指的是Nezha模型还是TinyBERT呢？

TinyBERT

我们在做论文中提及的glue任务的同时，另外在意图分类、槽位提取联合训练的任务上做了相关验证，也是有效的，意图分类任务相对简单，指标逼近bert base，槽位提取有少于一个点的损失

1024er commented 4 years ago

这个代码里面没有Squad的部分吧？

nlpBeginner commented 4 years ago

这个代码里面没有Squad的部分吧？

是的，我们目前正在整理相关代码，会尽快更新的。

Single430 commented 4 years ago

@nlpBeginner 您好，请问2020了，还需要多久才能发布上面说的相关代码

zshy1205 commented 4 years ago

@nlpBeginner 您好，请问2020了，还需要多久才能发布上面说的相关代码

应该是没了~中文版的tinybert也没放出来。

chenjxthu commented 4 years ago

是不是效果不行？