search

ZhuiyiTechnology / roformer-sim

SimBERT升级版（SimBERTv2）！
Apache License 2.0
439 stars 73 forks source link

蒸馏阶段时用到的数据 #11

Open 34127chi opened 3 years ago

34127chi commented 3 years ago

如题，请问下蒸馏阶段时用到的数据是公开数据集合BQ、ATEC等的train、valid集合吗

复现的指标和文章说的指标差别有一点大

bojone commented 3 years ago

蒸馏阶段用的是无监督训练阶段的数据，由有监督模型提供伪标签。