-
## 一言でいうと
High Wayの手法をRNNに適用する話。High Wayは入力をバイパスするゲートCを設けて、これと隠れ層HをゲートTに通したものを合算させることで入力にない表現のみ学習をさせるような手法。これで伝搬ステップの深いRNNを作る。言語モデル(PTB)とWikipediaの語予測でSOTA
### 論文リンク
https://arxiv.org/abs/160…
-
## 一言でいうと
オブジェクト間の関係を推論するシンプルなRelation Network( #326 )を拡張し、数独を解いたという研究。Relation Networkでは一回の伝搬しか行わないため、A=>BからさらにB=>Cという連続的な伝搬が扱えなかった。そこで再帰処理を導入し、複数回の伝搬による推論を扱えるようにした。
### 論文リンク
https://arxiv.…
-
Heya,
As I understand, RNNs are not yet in the project. If there's no current work on them, I'd like to look a bit into implementing them with rusty-machine. I'm still fairly new to both machine le…
-
Hi, I see that you have already thought of implementing some kind of "recurrentness" using the time_steps parameter.
Is it possible to train a stateful model (i.e., having data in shape as (batch_…
-
## 一言でいうと
RNNでは1wordごとに処理するので並列処理できないし、前の隠れ層からの入力を受け続けることで隠れ層はいろんな単語の情報がミックスされた謎の何かになる。そこでCNNにより並列処理＋隠れ層を前回独立にキープして出力を計算するブロックを発明。その名はQRNN。Chainer実装有。
### 論文リンク
https://arxiv.org/pdf/1611.015…
-
## 一言でいうと
メモリネットワークを改良し、LSTMに組み込んだ研究。メモリは行列で表現され、入力を含めた各行に対しクエリ(Q)とキー(K)・値(V)を算出し、クエリとキーの近さで重み(=Attention)を計算し値に乗じて更新を行う(softmax(QK^T)V)。言語モデルなどの教師ありと、強化学習で効果を確認。
, last revised 6 Apr 2016 (this version, …
TMats updated
7 years ago
-
@tdhock this is the outline of my new paper, can you give me some feedbacks
# Learning Penalty Parameters for Optimal Partitioning via Automatic Feature Extraction
## Abstract
Changepoint detec…
-
Hello!
Recently, a new normalization [procedure](https://arxiv.org/abs/1607.06450) has been invented. It provided great results for improving training on both feed-forward and especially recurrent net…
-
[Visualizing and Understanding Recurrent Networks](https://arxiv.org/abs/1506.02078)
Recurrent Neural Networks (RNNs), and specifically a variant with Long Short-Term Memory (LSTM), are enjoying rene…