simbert在自己的语料上 fineturn以后维度是768，怎样变成300维度？

ZhuiyiTechnology / simbert

a bert for retrieval and generation

Apache License 2.0

840 stars 152 forks source link

simbert在自己的语料上 fineturn以后维度是768，怎样变成300维度？ #11

Open TestNLP opened 3 years ago

TestNLP commented 3 years ago

默认是768维度，直接在后面加一层Dense(300)是否可行？这样之前基于2000W问答对训练的结果会受影响吗？

TestNLP commented 3 years ago

直接在后面加一层Dense(300)感觉需要修改bert4keras的源代码了

bojone commented 3 years ago

可以用PCA降维，参考：https://kexue.fm/archives/8069

TestNLP commented 3 years ago

可以用PCA降维，参考：https://kexue.fm/archives/8069

好的，我后续试一下这个PCA降维度。我目前做了一个实验，就是上面截图那样，下载了bert4keras源码，然后新增了一个Dense层，强制把维度修改为300了，然后我在自己的语料上fineturn了一下，计算cos相似度，对同一个句子对，前后对比发现整体cos值变高了

TestNLP commented 3 years ago

可以用PCA降维，参考：https://kexue.fm/archives/8069

好的，我后续试一下这个PCA降维度。我目前做了一个实验，就是上面截图那样，下载了bert4keras源码，然后新增了一个Dense层，强制把维度修改为300了，然后我在自己的语料上fineturn了一下，计算cos相似度，对同一个句子对，前后对比发现整体cos值变高了

是所有的句子对，测试的结果都是cos值比之前变高了

DaiJitao commented 3 years ago

co

cos需要输入句子1和句子2的向量吧？才能计算余弦相似度。不明白的地方在于，句子1的向量是直接通过simbert获取的吗？句子2的向量也是通过simbert获取的吗？请问句子1和句子2的向量是如何获取的？

localoca5 commented 2 years ago

TestNLP 是不是因为finetune数据集的cosines普遍比较高？可能是分布不均衡导致的