-
Which Neural Network works better for our self driving goals?
-
-
## 一言でいうと
ニューラルネットにおける構造の重要性を調べた研究。学習を一切せず、構造探索のみでタスクが解けるか検証している。進化戦略で優秀な構造を残していく手法を取っており、評価時の重みは一様分布から取得した共通のものを使う。これにより、学習なしでいくつかの強化学習タスクを解くことに成功。
![image](https://user-images.githubuserconten…
-
-
## 一言でいうと
RNNを発展させたRecurrnt Neural Network Grammars(RNND)を用いて
構文解析、文生成を行った。
### 論文リンク
https://arxiv.org/pdf/1602.07776v4.pdf
### 著者/所属機関
Chris Dyer, Adhiguna Kuncoro, Miguel Ballesteros, Noa…
-
## 一言でいうと
通常のフィードフォワードで、伝搬時に正規化の状態をキープし続けられるようにする手法の提案。これにより、Batch Normalizationなど外部的に正規化する必要がなくなる。平均/分散を調整できるよう、正負の値/拡大縮小双方が取れる活性化関数・初期化方法などを提案している。
活性関数式
![seln](https://user-images.githubu…
-
https://arxiv.org/pdf/1706.02515.pdf
Deep Learning has revolutionized vision via convolutional neural networks (CNNs) and natural language processing via recurrent neural networks (RNNs). However, …
leo-p updated
7 years ago
-
## 一言でいうと
ネットワークの継承ともいうべき手法。モデルの蒸留はモデルサイズを小さくするために用いられることが多いが、この研究ではラベル+親の出力に近くなるように学習させることで、親をしのぐ精度の子ネットワークの学習に成功している。DenseNetからResNetで継承を行いCIFAR-100でエラー率15.5%を達成。
### 論文リンク
http://metalearn…
-
## 一言でいうと
メモリネットワークを改良し、LSTMに組み込んだ研究。メモリは行列で表現され、入力を含めた各行に対しクエリ(Q)とキー(K)・値(V)を算出し、クエリとキーの近さで重み(=Attention)を計算し値に乗じて更新を行う(softmax(QK^T)V)。言語モデルなどの教師ありと、強化学習で効果を確認。
![image](https://user-images.gi…
-
## 一言でいうと
RNNでは1wordごとに処理するので並列処理できないし、前の隠れ層からの入力を受け続けることで隠れ層はいろんな単語の情報がミックスされた謎の何かになる。そこでCNNにより並列処理+隠れ層を前回独立にキープして出力を計算するブロックを発明。その名はQRNN。Chainer実装有。
### 論文リンク
https://arxiv.org/pdf/1611.015…