-
## 一言でいうと
Facebookが教師なしで翻訳を行う手法を公開。単語ベースの翻訳の学習(先行研究 #630 より)、単語をうまくつなげる言語モデルの学習を事前に行っておき、それらで翻訳モデルを初期化する。その後は、A->B、B->Aという風に翻訳した文を逆翻訳した際の差異を基に学習を行っていく。
単語ベースの翻訳=concatしたコーパスによるembeddingの学習、言語モデル…
-
## 一言でいうと
イメージ的には、Encoder/DecoderをCNNで行うといった形。RNNはシーケンスを順に入れていかないので並列計算が難しく、前後の単語の関係を記憶するための機構を入れるとさらに計算が重たくなる。そこで、計算を並列でできるようにしつつ、単語間の関係も考慮できるようにということで考案。これをBytenetと名付けている。
Encoder側は常に固定長を送るためdil…
-
http://nlp.csai.tsinghua.edu.cn/~ly/papers/acl2017_dyz.pdf
-
### Metadata
- Authors: Rico Sennrich and Barry Haddow
- Organization: School of Informatics, University of Edinburgh
- Conference: WMT 2016
- Link: https://goo.gl/jqYQ8r
-
# Controlling Text Complexity in Neural Machine Translation
翻訳する過程において、出力文の難易度を制御することを試みた研究。Newselaのデータ(1文に対して想定読者の学年を付与している)を用いて、英語-スペイン語間の翻訳を行う。Table1にコーパスの例を示す。出力制御を行うために、出力文の難易度を入力文の先頭にラベルとして付与する…
-
## Abstract
- Propose to speed up the decoder by applying a more flexible beam search strategy whose candidate size may vary at each time step depending on the candidate score
- 10% speed up in beam…
-
## 0. 論文
[Unsupervised Neural Machine Translation with Weight Sharing](https://arxiv.org/abs/1804.09057v1)
Zhen Yang, Wei Chen, Feng Wang, Bo Xu
## 1. どんなもの?
潜在空間のパラメータを共有して行う教師なしニューラル機械翻訳
##…
-
## 一言でいうと
翻訳において、バイト列に対してsub wordを行おうという研究。UTF-8のバイト列を対象としており、実質未知語0にすることが可能(Decoderでバイト列を文字に複合する)。DepthWiseConvかBi-directional GRUでコンテキストを含んだ表現を得てからTransformerに入れることで、純Byte-Pairと同等の性能を確認
### 論文…
-
## 一言でいうと
機械翻訳において、コンテキストはあくまで単語というトークンの予測に使用されるが、これを文/データの予測にも有用なら採用するように矯正する手法の提案。単語の予測だと短期のコンテキストが採用されがちだが、文・データ全体に対する再現性を加味することで長期を意識させるようにする
### 論文リンク
https://arxiv.org/abs/1903.04715
…
-
I want to save model for Neural Machine Translation (https://nbviewer.jupyter.org/github/DSKSD/DeepNLP-models-Pytorch/blob/master/notebooks/07.Neural-Machine-Translation-with-Attention.ipynb). Can you…