-
Heya,
As I understand, RNNs are not yet in the project. If there's no current work on them, I'd like to look a bit into implementing them with rusty-machine. I'm still fairly new to both machine le…
-
-
https://arxiv.org/abs/1506.02216
- Junyoung Chung, Kyle Kastner, Laurent Dinh, Kratarth Goel, Aaron Courville, Yoshua Bengio
- Submitted on 7 Jun 2015 (v1), last revised 6 Apr 2016 (this version, …
TMats updated
7 years ago
-
## 一言でいうと
RNNでは1wordごとに処理するので並列処理できないし、前の隠れ層からの入力を受け続けることで隠れ層はいろんな単語の情報がミックスされた謎の何かになる。そこでCNNにより並列処理＋隠れ層を前回独立にキープして出力を計算するブロックを発明。その名はQRNN。Chainer実装有。
### 論文リンク
https://arxiv.org/pdf/1611.015…
-
## 一言でいうと
メモリネットワークを改良し、LSTMに組み込んだ研究。メモリは行列で表現され、入力を含めた各行に対しクエリ(Q)とキー(K)・値(V)を算出し、クエリとキーの近さで重み(=Attention)を計算し値に乗じて更新を行う(softmax(QK^T)V)。言語モデルなどの教師ありと、強化学習で効果を確認。
-
I have two doubts regarding this paper: [https://openreview.net/pdf?id=ByMHvs0cFQ](url)
1. In the paper, the neurons are mentioned. Is that 'QRNN_HIDDEN_SIZE' adjustment in the code to change neurons…
-
Suggested list of courses would be:
- An introduction to deep learning **
- How to train a neural network
- Regularisation in neural networks
- Deep Bayesian neural networks
- Conv…