请问您们是如何在RoBERTa-wwm-ext上继续进行预训练的呢

[yangzhch6]

RoBERTa-wwm-ext的词典跟您就不一样，想知道具体怎么做的，因为最近也在做预训练的工作

[ZhuiyiTechnology]

很简单啊，删除冗余的token的embedding，补充新的token的embedding（初始化）。就是修改一下embedding层的权重罢了。