-
## 一言でいうと
翻訳において、バイト列に対してsub wordを行おうという研究。UTF-8のバイト列を対象としており、実質未知語0にすることが可能(Decoderでバイト列を文字に複合する)。DepthWiseConvかBi-directional GRUでコンテキストを含んだ表現を得てからTransformerに入れることで、純Byte-Pairと同等の性能を確認
### 論文…
-
## 一言でいうと
機械翻訳において、コンテキストはあくまで単語というトークンの予測に使用されるが、これを文/データの予測にも有用なら採用するように矯正する手法の提案。単語の予測だと短期のコンテキストが採用されがちだが、文・データ全体に対する再現性を加味することで長期を意識させるようにする
### 論文リンク
https://arxiv.org/abs/1903.04715
…
-
## 論文リンク
https://arxiv.org/abs/1508.07909
## 公開日（yyyy/mm/dd）
2015/08/31
## 概要
機械翻訳のモデルで rare word に対応するために、単語よりも小さい sub-word レベルを最小単位として扱うことを提案した論文。
rare word は例えば複合語などがあり、これは単語レベルで見ると確かに ra…
-
Achieving Code Execution in MathGPT via Prompt Injection - 28 января 2023
ChatGPT Plugin Privacy Leak - май 2023 г.
Attack on Machine Translation Services - 30 апреля 2020 г.
GPT-2 Model Replicatio…
-
I want to save model for Neural Machine Translation (https://nbviewer.jupyter.org/github/DSKSD/DeepNLP-models-Pytorch/blob/master/notebooks/07.Neural-Machine-Translation-with-Attention.ipynb). Can you…
-
## 論文リンク
https://arxiv.org/abs/1702.01802
## 概要
NMTで知識蒸留を行った論文
## 手法のキモ
- *初期値のみ異なる複数の教師NMTモデルの**出力確率分布の平均**を用いて知識蒸留を行う
- 教師NMTモデルのビームサーチによる**候補文から正解文にBLEUスコアが近い文を教師文**とする知識蒸留を行う
- 学習…
-
This issue aims at keeping track of the models that would be interesting to get added to candle. Feel free to make a comment to mention a new model, or vote for a model already in the list.
- [musicg…
-
I've been reviewing tensorflow recently and wanted to share this idea. It is most likely not suitable for this repo/ but not sure a better place to log this.
At the essence, think of one day transl…
-
## 0. Paper
@inproceedings{luong-etal-2015-effective,
title = "Effective Approaches to Attention-based Neural Machine Translation",
author = "Luong, Thang and
Pham, Hieu and
…
a1da4 updated
4 years ago
-
[paper](https://arxiv.org/pdf/1909.03341.pdf)
**problem :** multi-lingual 셋팅에서 BPE를 하면, 잘 나오지 않는 캐릭터들 때문에 vocab수를 잡아먹는다. 중국어의 경우에는 글자가 다른 글자의 일부인 경우도 있는데(虫, 蟲), 캐릭터 레벨에서는 이러한 관계를 알기 어렵다.
**solut…