search

zejunwang1 / bert4vec

一个基于预训练的句向量生成工具
Apache License 2.0
132 stars 11 forks source link

使用自己训练过的模型是否效果更好 #6

Open jangjun21 opened 1 year ago

jangjun21 commented 1 year ago

1目前是直接加载预训练模型，不是自己训练过的,在预训练模型上面训练之后再生成句向量是否更好 2怎么训练roformer模型，它的数据格式是怎样的

AriesYB commented 2 months ago

同问，如何使用自己的数据集去微调模型呢

zejunwang1 commented 2 months ago

bert4vec 是一个基于 transformers 的句向量推理工具，目前不支持使用数据集进行微调

AriesYB commented 2 months ago

感谢回复，我后来找到bert4torch，里面有训练的代码。但是你的这个模型是不是微调过啊，和roformer-sim里的预训练模型不一样🤔

zejunwang1 commented 2 months ago

这里的模型是苏神 roformer-sim 的原始版本，没有经过 finetune 的

AriesYB commented 2 months ago

roformer-sim项目里的下载不了，我是从这里下的 https://huggingface.co/junnyu/roformer_chinese_sim_char_base