search

wangyuxinwhy / uniem

unified embedding model
Apache License 2.0
814 stars 61 forks source link

微调的一些问题 #107

Open zhouzhou0322 opened 10 months ago

zhouzhou0322 commented 10 months ago

🐛 bug 说明

  1. 请问微调m3e-base需要多少数据量才有效果，我使用条左右训练，貌似没有效果，微调前后embedding的l2距离是一样
  2. 微调时候loss为0
  3. 合同签订前 ，合同签订后。 这两个目前我使用m3e 他们的语义很近似，但是在我的业务场景他们应该是最不接近的。微调的很多数据也是类似的后缀的意思不一样 但是总体的语义是接近的。这样可以微调吗？

谢谢

Python Version

None

wangyuxinwhy commented 10 months ago
  1. 一般至少数百条数据
  2. 微调主要应该看验证集的 Loss 不要看训练集的 Loss
  3. 可以微调的
suna0922 commented 5 months ago
  1. 一般至少数百条数据
  2. 微调主要应该看验证集的 Loss 不要看训练集的 Loss
  3. 可以微调的

您好，请问在微调时，不同数据量的数据选择微调策略（全参数/bitfit）有什么建议嘛～

wangyuxinwhy commented 5 months ago

我建议最好都是全参数微调，bitfit 是为了微调 7B 以上的模型，但这个算法的效果我自己实验下来不是很理想...