機械翻訳に関するAdversarial exampleとKnowledge distillationまとめ

[Sosuke115]

機械翻訳に関するAEとKDに関する論文の自分なりのまとめをここに書きます とりあえずたてておきます 随時更新していきます

機械翻訳に対するAdversarial example

基本的には文字・単語の改変を行う

Black box

synthetic noize

replace、swap、delete等、ルールベースに文字・単語を改変

natural noize

人間が間違えそうなミス

White box

勾配ベースに敵対的サンプルを作成

Robust Neural Machine Translation with Doubly Adversarial Inputs

防御手段

Adversarial training

ノイズを含んだ翻訳文で学習

Knowlege distillation

防御手段として利用している論文は見当たらず

[Sosuke115]

機械翻訳に関するKnowledge distillation

モデル圧縮・精度向上

Self-Knowledge Distillation in Natural Language Processing

言語間転移

ドメイン適応

その他

non autoregressive model、

議論