search

ymym3412 / acl-papers

paper summary of Association for Computational Linguistics
184 stars 10 forks source link

Unsupervised Neural Machine Translation with Weight Sharing #161

Open ymym3412 opened 6 years ago

ymym3412 commented 6 years ago

0. 論文

Unsupervised Neural Machine Translation with Weight Sharing Zhen Yang, Wei Chen, Feng Wang, Bo Xu

1. どんなもの？

潜在空間のパラメータを共有して行う教師なしニューラル機械翻訳

2. 先行研究と比べてどこがすごい？

言語ごとにEncoderを分けて言語特有の情報を圧縮できるようにしつつ、潜在空間を共有することで翻訳に必要な情報を共通の空間で表現できる

3. 技術や手法のキモはどこ？

構成は(Denoising)AutoEncoderと(local/Global)GAN AEを通して各言語ごとの潜在表現を学習していく。 対訳文が潜在空間の近い領域にマッピングされるように、AEの隠れ層のベクトルがどちらの言語のEncoderが圧縮したものかを予想するDiscriminator(local GAN)を用意する。 また言語AのEncoderと言語BのDecoderを通した翻訳文と本来の翻訳文を使って、本来のデータか生成されたデータかを予想するDiscriminator(Global GAN)でモデル全体をFine Turnする

image

4. どうやって有効だと検証した？

BLEU値ベースで教師あり学習モデル、先行研究の教師なしモデルと比較。 先行研究を上回る結果に

5. 議論はある？

GANのセッティングで教師なしの設定が崩れている気がする

6. 次に読むべき論文は？

Word translation without parallel data Alexis Conneau, Guillaume Lample, Marc'Aurelio Ranzato, Ludovic Denoyer, Hervé Jégou

Phrase-Based & Neural Unsupervised Machine Translation Guillaume Lample, Myle Ott, Alexis Conneau, Ludovic Denoyer, Marc'Aurelio Ranzato

ymym3412 commented 5 years ago

第10回最先端NLP勉強会での資料 https://speakerdeck.com/shimadu/zui-xian-duan-nlp2018