search

shibing624 / text2vec

text2vec, text to vector. 文本向量表征工具，把文本转化为向量矩阵，实现了Word2Vec、RankBM25、Sentence-BERT、CoSENT等文本表征、文本相似度计算模型，开箱即用。
https://pypi.org/project/text2vec/
Apache License 2.0
4.39k stars 392 forks source link

训练的loss一直为0，请问这是怎么回事 #146

Closed ann22 closed 8 months ago

ann22 commented 8 months ago

Describe the Question

Please provide a clear and concise description of what the question is.

image
shibing624 commented 8 months ago

改loss了吗？看preds是正常的。

ann22 commented 8 months ago

改loss了吗？看preds是正常的。

没改，直接在自己的数据上ft，bf16设置的FALSE，和这个有关吗

shibing624 commented 8 months ago
  1. maybe你数据有问题，看下数据格式和字段。2. 测试下demo样例数据的有问题不
ann22 commented 8 months ago
  1. maybe你数据有问题，看下数据格式和字段。2. 测试下demo样例数据的有问题不
  1. 数据格式是：s1 s2 label；修改了数据后2-3 epoch loss就会变为0
ann22 commented 8 months ago

请问用CoSENT方法训练，可以基于BAAI/bge-base-zh模型在中英文混合数据上FT吗

shibing624 commented 8 months ago

可以