Open xunuo2345 opened 2 years ago
提问时请尽可能提供如下信息:
# 请在此处贴上你的核心代码。 # 请尽量只保留关键部分,不要无脑贴全部代码。
bert = build_transformer_model( config_path, checkpoint_path, with_mlm='linear', keep_tokens=keep_tokens, # 只保留keep_tokens中的字,精简原字表 compound_tokens=compound_tokens # 增加词,用字平均来初始化
)
# 请在此处贴上你的调试输出 embeddings = embeddings[self.keep_tokens] IndexError: index 35075 is out of bounds for axis 0 with size 29885 ### 自我尝试 不管什么问题,请先尝试自行解决,“万般努力”之下仍然无法解决再来提问。此处请贴上你的努力过程。
这是来自QQ邮箱的假期自动回复邮件。 您好,我最近正在休假中,无法亲自回复您的邮件。我将在假期结束后,尽快给您回复。
训练好加载就不用keep_tokens和compound_tokens参数了,修改一下vocab_size为新的值即可。
提问时请尽可能提供如下信息:
基本信息
核心代码
bert = build_transformer_model( config_path, checkpoint_path, with_mlm='linear', keep_tokens=keep_tokens, # 只保留keep_tokens中的字,精简原字表 compound_tokens=compound_tokens # 增加词,用字平均来初始化
输出信息