bojone / bert4keras

keras implement of transformers for humans
https://kexue.fm/archives/6915
Apache License 2.0
5.37k stars 929 forks source link

自己使用wobertplus继续做了预训练,在使用自己得到的权重微调时候,报错。想问下,大佬应该如何调整 #476

Open xunuo2345 opened 2 years ago

xunuo2345 commented 2 years ago

提问时请尽可能提供如下信息:

基本信息

核心代码

# 请在此处贴上你的核心代码。
# 请尽量只保留关键部分,不要无脑贴全部代码。

bert = build_transformer_model( config_path, checkpoint_path, with_mlm='linear', keep_tokens=keep_tokens, # 只保留keep_tokens中的字,精简原字表 compound_tokens=compound_tokens # 增加词,用字平均来初始化

)

输出信息


# 请在此处贴上你的调试输出

    embeddings = embeddings[self.keep_tokens]
IndexError: index 35075 is out of bounds for axis 0 with size 29885

### 自我尝试
不管什么问题,请先尝试自行解决,“万般努力”之下仍然无法解决再来提问。此处请贴上你的努力过程。
FankLi commented 2 years ago

这是来自QQ邮箱的假期自动回复邮件。   您好,我最近正在休假中,无法亲自回复您的邮件。我将在假期结束后,尽快给您回复。

bojone commented 2 years ago

训练好加载就不用keep_tokens和compound_tokens参数了,修改一下vocab_size为新的值即可。