Open insomnia-y1999 opened 2 months ago
您好,很多huggingface上的embedding模型都有一个2_Dense层(以这个stella-mrl-large-zh-v3.5-1792d为例),不过微调后的模型没有保存2_Dense,导致输出的维度是1024而不是原本的1792。或者怀疑是微调前加载模型时就没有把2_Dense加载进来。请问如何解决?
None
我发现设置model_type为sentense_transformers,也即FineTuner.from_pretrained(model, model_type='sentence_transformers'),可以让输出的model路径下包含2_Dense。
FineTuner.from_pretrained(model, model_type='sentence_transformers')
但中间的checkpoints/checkpoint_0路径下仍然没有。这个有办法解决吗~~
🐛 bug 说明
您好,很多huggingface上的embedding模型都有一个2_Dense层(以这个stella-mrl-large-zh-v3.5-1792d为例),不过微调后的模型没有保存2_Dense,导致输出的维度是1024而不是原本的1792。或者怀疑是微调前加载模型时就没有把2_Dense加载进来。请问如何解决?
Python Version
None