句向量为什么不需要进行fine tune

terrifyzhao / bert-utils

一行代码使用BERT生成句向量，BERT做文本分类、文本相似度计算

Apache License 2.0

1.65k stars 425 forks source link

Open Jothangan opened 5 years ago

Jothangan commented 5 years ago

1.为什么不采用fine tune后的句向量，对于相似度计算是否可以采取fine tune后的句向量结合annoy等算法先检索出几个备选值。 2.代码中为什么默认指定 layer_indexes = [-2]

terrifyzhao commented 5 years ago

1、微调更多是针对于特定问题，句向量比较通用，当然如果想效果更好也可以做微调，可以用annoy 2、倒数第二层的结果不会过于接近目标，能有效防止过拟合