BunsenFeng / M-AbstainQA

Multilingual AbstainQA @ EMNLP 2024
2 stars 0 forks source link

想问一下为什么对比的方法跟之前的AbstainQA比减少了几个,也替换了2个,出于什么样的考虑呢? #1

Open Chris-ChengJia opened 3 days ago

BunsenFeng commented 3 days ago

主要是由于问题场景到了multilingual,而一些low-resource language在某些方法上不适配的原因。例如AbstainQA中的verfier方法,简而言之就是train an encoder-based LM for binary classification on (Q, A) pairs,由于roberta等encoder LM是english-only的,因此不太能用multilingual的(Q, A) pair去训练;在M-AbstainQA中则加入了一下特殊于multilingual setting的方法,例如back translation: 问题翻译到英语,做prompting-based abstain decision,再apply到multilingual question上