search

PaddlePaddle / RocketQA

🚀 RocketQA, dense retrieval for information retrieval and question answering, including both Chinese and English state-of-the-art models.
Apache License 2.0
767 stars 128 forks source link

如何将encode_query的数据的维度下降到128？ #26

Closed ralgond closed 2 years ago

ralgond commented 2 years ago

现在是768维

sfwydyc commented 2 years ago

你好，目前RocketQA提供的模型，query和para的向量表示都是768维的，我们考虑之后发布维度较低的模型。 如果你熟悉深度学习和paddle，可以基于repo里research目录下的训练代码，在当前模型768维表示之上加一个128维的全连接层，并重训模型。也可以参考向量压缩的算法，如ProductQuantization，对模型输出的向量进行降维。