Open zhuzizyf opened 3 years ago
最好是重新做预训练模型,想直接用的话,把预训练模型参数size修改保存,然后代码中修改参数
最好是重新做预训练模型,想直接用的话,把预训练模型参数size修改保存,然后代码中修改参数
缩减config的最大长度后,从checkpoint加载模型维度会对不上,怎么修改checkpoint里面的维度啊
加载模型之后,修改其位置编码维度 model.embeddings.position_embeddings = torch.nn.Embedding(1024,768)
显卡原因跑不起4096,请问如何修改成1024