model = get_peft_model(model, config) 前加上以下代码,可支持不同词表大小的 llama 模型训练
embedding_size = model.get_input_embeddings().weight.shape[0]
if len(train_tokenizer) != embedding_size:
logger.info("resize the embedding size by the size of the tokenizer")
model.resize_token_embeddings(len(train_tokenizer))
finetune_chat.py
model = get_peft_model(model, config) 前加上以下代码,可支持不同词表大小的 llama 模型训练