search

neulab / awesome-align

A neural word aligner based on multilingual BERT
https://arxiv.org/abs/2101.08231
BSD 3-Clause "New" or "Revised" License
321 stars 46 forks source link

一些问题 #37

Closed lisasiyu closed 2 years ago

lisasiyu commented 2 years ago

你好，阅读完你的论文和代码，我有几个问题想向你请教一下。 1、为什么基于XLM-R的对齐效果比mbert差很多呢？在其他跨语言任务上，比如分类任务，XLM-R的效果应该是远远超过mbert的，但是在对齐任务上XLM-R效果很差。请问可能的原因是什么呢？ 2、我注意到代码中scr和tgt是分别进行encoding的，但是直觉上如果把src和tgt进行concat再一起encoding，这样得到的交互信息是不是更多呢？但是经过我自己的尝试，这样的方法效果反而更差了。请问你有没有尝试过这种方法呢，为什么效果更差了呢？

zdou0830 commented 2 years ago

你好，

  1. 我觉得应该只是我们提的抽取对齐的词的方法更适合mBERT。如果用SimAlign的方法的话mBERT和XLM-R就差不多，不过针对mBERT我们的方法比SimAlign在很多情况下好。另外，这篇文章好像发现XLM-R在经过fine-tune之后比mBERT更好，但是我还没做过实验。
  2. 我试过先concatenate再encoding，效果确实变差，我觉得原因可能是mBERT在训练的时候不是这样做的。
lisasiyu commented 2 years ago

好的，感谢你的解答