search

FlagOpen / FlagEmbedding

Retrieval and Retrieval-augmented LLMs
MIT License
7.04k stars 514 forks source link

BGE模型做完Pretrain后只保存了embedding的权重，这是否正常？ #699

Open liangxuZhang opened 5 months ago

liangxuZhang commented 5 months ago

image cc @staoxiao

staoxiao commented 5 months ago

只要加载训练后模型没报找不到参数即可。

liangxuZhang commented 5 months ago

encoder_model下的model.safetensors只保存了embedding的weight，加载时同样是找不到其他参数。 image

在save_pretrained的时候设置safe_serialization=False会将权重保存为.bin格式可以暂时解决这个问题 ，参考https://github.com/huggingface/transformers/issues/28630#issuecomment-1907226748

但是我没有找到哪里使得除了word_embedding之外的权重变成了共享参数 @staoxiao