-
WDYT? Is this publication in scope?
```
@phdthesis{Rony_Chowdhury,
author = {Rony Chowdhury, Muhammad Abu Naser},
doi = {10.18122/td/1611/boisestate},
school = {Boise State University},
title = {I…
-
Heya,
As I understand, RNNs are not yet in the project. If there's no current work on them, I'd like to look a bit into implementing them with rusty-machine. I'm still fairly new to both machine le…
-
### Title
Hypergraph Convolutional Recurrent Neural Network
### URL
(https://tmpfiles.org/dl/3316673/yirnn.pdf)
### Summary
The paper by Jaehyuk Yi and Jinkyoo Park introduces a hypergraph co…
-
https://arxiv.org/abs/1506.02216
- Junyoung Chung, Kyle Kastner, Laurent Dinh, Kratarth Goel, Aaron Courville, Yoshua Bengio
- Submitted on 7 Jun 2015 (v1), last revised 6 Apr 2016 (this version, …
TMats updated
7 years ago
-
## 一言でいうと
RNNでは1wordごとに処理するので並列処理できないし、前の隠れ層からの入力を受け続けることで隠れ層はいろんな単語の情報がミックスされた謎の何かになる。そこでCNNにより並列処理＋隠れ層を前回独立にキープして出力を計算するブロックを発明。その名はQRNN。Chainer実装有。
### 論文リンク
https://arxiv.org/pdf/1611.015…
-
## 一言でいうと
メモリネットワークを改良し、LSTMに組み込んだ研究。メモリは行列で表現され、入力を含めた各行に対しクエリ(Q)とキー(K)・値(V)を算出し、クエリとキーの近さで重み(=Attention)を計算し値に乗じて更新を行う(softmax(QK^T)V)。言語モデルなどの教師ありと、強化学習で効果を確認。
 algorithm to the existing neural…
-