bojone / BERT-whitening

简单的向量白化改善句向量质量
480 stars 65 forks source link

关于论文评测结果无法复现 #12

Open sunjiadong opened 2 years ago

sunjiadong commented 2 years ago

您好,我用的是SimBERT-small模型,评测LCQMC数据集的时候,发现和论文的结果不一致,麻烦看看是不是哪里有什么问题? image 上面的是经过变换之后的,下面是原始的 a_vecs = transform_and_normalize(a_vecs, kernel, bias) b_vecs = transform_and_normalize(b_vecs, kernel, bias) sims = (a_vecs * b_vecs).sum(axis=1) corrcoef = compute_corrcoef(labels, sims) 不做transform_and_normalize直接计算sims是不是就是不加whitening的结果呢?