about trainable embedding I^0

Deriq-Qian-Dong / III-Retriever

Code for I3 Retriever, accepted by CIKM'23.

41 stars 2 forks source link

Open Hardcandies opened 3 months ago

Hardcandies commented 3 months ago

https://github.com/Deriq-Qian-Dong/III-Retriever/blob/main/src/modeling.py#L193C68-L193C90 你好，在这里看上去query重建器的输入，32个token emb，都是mask token的emb，和paper说的32个可学习的emb不一致呀？希望得到您的指正。

Deriq-Qian-Dong commented 3 months ago

你好，感谢关注。mask token的emb会随着训练一起变化，这里也可以随机初始化一个新的special token，效果一样

Hardcandies commented 3 months ago

感谢回复。 mask token只有一个，是吗？我纠结的地方是：有‘32’个可学习的emb VS 有‘1’个可学习的emb

Hardcandies commented 3 months ago

另外还想请教，reconstructor先用T5生成的query做一个训练的动机是什么？如果query-passage对的训练数据足够大，是否可以直接用真实的query而不用fake query了？