Closed kacky24 closed 5 years ago
RNNがsequenceの各ステップごとに異なる計算量で計算を行えるようにする手法（ACT)の提案。
従来の機械学習のアルゴリズムは、計算量をタスクの複雑さに合わせて調整できない。 しかし、効率的かつ精度高く出力するには、闇雲に深いネットワークを作るのではなく、必要な箇所で計算量を増やす（熟考する＝ponder）ことが望まれる。 そこで、RNNが、各タイムステップで、複数回計算を行えるようにし、計算回数を学習に組み込むということを行う。
計算回数は、上図の各hにシグモイド関数を通して求められる注目度の分布の和が1 - εより大きくなればiteration終了とする。 各ステップの出力は、各iterationの出力に注目度を掛けたものの和になる。
ロス回数に、計算回数が多くなりすぎないように、計算回数の各ステップの総和を組み込むが、これにかかる係数に結果が大きく依存するのが難点。
Alex Graves Google DeepMind gravesa@google.com
https://arxiv.org/pdf/1603.08983.pdf
2016
short summary
RNNがsequenceの各ステップごとに異なる計算量で計算を行えるようにする手法（ACT)の提案。
従来の機械学習のアルゴリズムは、計算量をタスクの複雑さに合わせて調整できない。 しかし、効率的かつ精度高く出力するには、闇雲に深いネットワークを作るのではなく、必要な箇所で計算量を増やす（熟考する＝ponder）ことが望まれる。 そこで、RNNが、各タイムステップで、複数回計算を行えるようにし、計算回数を学習に組み込むということを行う。
計算回数は、上図の各hにシグモイド関数を通して求められる注目度の分布の和が1 - εより大きくなればiteration終了とする。 各ステップの出力は、各iterationの出力に注目度を掛けたものの和になる。
ロス回数に、計算回数が多くなりすぎないように、計算回数の各ステップの総和を組み込むが、これにかかる係数に結果が大きく依存するのが難点。
author
Alex Graves Google DeepMind gravesa@google.com
URL
https://arxiv.org/pdf/1603.08983.pdf
year
2016