能否缩减最大长度

SCHENLIU / longformer-chinese

chinese version of longformer

110 stars 15 forks source link

Open zhuzizyf opened 3 years ago

zhuzizyf commented 3 years ago

显卡原因跑不起4096，请问如何修改成1024

SCHENLIU commented 3 years ago

最好是重新做预训练模型，想直接用的话，把预训练模型参数size修改保存，然后代码中修改参数

JaheimLee commented 3 years ago

最好是重新做预训练模型，想直接用的话，把预训练模型参数size修改保存，然后代码中修改参数

缩减config的最大长度后，从checkpoint加载模型维度会对不上，怎么修改checkpoint里面的维度啊

maicai commented 2 years ago

加载模型之后，修改其位置编码维度 model.embeddings.position_embeddings = torch.nn.Embedding(1024,768)