Equilibrium Propagation: Bridging the Gap Between Energy-Based Models and Backpropagation

TMats commented 6 years ago

実装 https://github.com/bscellier/Towards-a-Biologically-Plausible-Backprop Yoshua Bengio - Deep learning and Backprop in the Brain (CCN 2017)(youtube) https://www.youtube.com/watch?v=W86H4DpFnLY

TMats commented 6 years ago

Abustruct

energy-basedなモデルの学習の枠組みとして Equilibrium Propagation を提案
- 予測と訓練(重みの修正)を同じ計算で行う
- backpropagationのように誤差が明示的に伝播して訓練が行われる訳ではない
- 予測と訓練のフェーズの違いはシナプスの変化が認められているかどうか
シナプスの更新がSTDPの一般的な形式になっている
1~3層の中間層でリカレントに接続したモデルでPermutation-invariant MNIST(回転とか拡大とか、事前の画像処理を禁止したMNIST)をデータセットとして実験した

1. Introduction

BPは生物学的な妥当性がないと考えられている
- 訓練に特別な計算機構が必要なため
Equilibrium Propagation を提案
- 予測と訓練のフェーズを同じ計算機構で行う
- Energy-basedなモデルに適応できる ex)連続的なHopfieldモデル(Hopfield, 1984)
- エネルギー関数の最小値がモデルの理想の状態
予測のフェーズ(第1段階)
- 入力が固定されてエネルギー関数の最小値に緩和(relaxed?)され，予測が出力ユニットで読み出される
訓練のフェーズ(第2段階)
- 出力ユニットの目標値が観測されると，出力はターゲットに向かって揺らぎ，ネットワークは新しい近くの固定点に緩和される
- squared errrorの勾配降下法として機能する
- 出力に生じる摂動がネットワークの隠れ層に伝播する．
- 伝播がネットワークの出力から後方に移動するため逆伝播と考えられる
これは通常の構成的なHebb則やボルツマンマシンの学習則とは異なる
この論文の貢献は，第2段階がシナプスの重みに関する誤差の(逆)伝播を実行し，この更新がSTDPに対応することを示すこと
Pineda(1987)とAlmeida(1987)のreccurent back-propagationアルゴリズムは同じ目的関数を最適化しているが，第2段階の計算機構が異なる(従来の手法は生物学的観点を満足していない)
- その他のモデルの問題にも対応(後述)
局所的な摂動に対応する目的関数の勾配を計算
- 第1段階と第2段階の計算をleaky integrator neural computationで実現

2. Continuous Hopfield Model再訪(もっと生物学的妥当性のある誤差逆伝播としてのEquilibrium Propagation)

Equilibrium Propagationでは訓練と予測どちらに対しても一種類の計算で行う
- 生物学的な妥当性が高いが明らかにすべき点もある
- ex)このモデルでは対称なウエイトが必要な点
  Hopfield Energy
感覚入力が与えられ、モデルのパラメータに関連付けられた現在の「世界のモデル」に従って、より低いエネルギー構成に徐々に移行する
- シナプス重みWijおよびニューロンバイアスbiを含む、学習される自由パラメータのセットθ=(W,b)
エネルギー関数(E)
ネットワークは対称な重みの結合によって再帰的に結合する
- 今回のモデルではBPを明確にする為に，スキップレイヤの結合とレイヤ内の潜在的な結合を考えないことにする
total energy function(F)を最小化する
- βは influence parameter もしくは clumping factor
- Eは内部的なエネルギー
- βCはターゲットが出力層にどれだけ影響するかをモデル化
- ボルツマンマシンは可視層は自由か完全にクランプされているが，このモデルでは弱くクランプすることが可能になる
  ニューロンの力学的な挙動
定常状態における内部エネルギー(E)の微分方程式
定常状態における外力の微分方程式
積分モデルを連想させる
- 過去の入力のleaky temporal integration
β=0のとき，出力層は外部のターゲットに反応しない
- 第1段階(予測のフェーズ)に対応
β>0のとき，出力層はターゲットに向かう外力が働く
- 第2段階(訓練のフェーズ)に対応
  free phase，weakly clamped phase，誤差逆伝播
free phase
- 訓練の最初のフェーズ
- 入力がクランプされて, β=0(出力層が自由)のフェーズ
- 状態はfree fixed pointに収束する
weakly clamped phase
- 訓練の2番目のフェーズ
- βは正の小さい値になり，エネルギーにβCの項が追加される
- これは出力層に働く外力
- ターゲットを観測することに相当し，出力層をfree fixed pointからターゲットの方向に動かす
- 隠れユニットはこのフェーズの最初は平衡状態にあるが，時間が進むごとに摂動によって出力層から隠れユニットに伝播される
- 複数レイヤをもつモデルの場合(Fig.1の右側)これは誤差逆伝播に対応
- 最終的にweakly clamped fixed point(新しいfixed point)に収束する
weakly clamped phaseの初期のニューロンの活動が層の活動を反映して誤差の近似を行う
- β→0のときの更新則
- SGDに対応
- これはセクション3で一般化して証明
- 多層のアーキテクチャ以外にも適用できる
- Hebb則の一種
- ボルツマンマシンの学習則との違いはセクション4
  STDPとの関連
シナプスの重みの変化はスパイクのタイミングで決まる
Bengio et al. (2015)の実験結果
Bi and Poo (2001)の実験結果
重みが対称であるときBi and Pool(2001)を用いて
積分して
- これは更新則(10)と同様
このモデルのSTDPに関する2つの解釈
- 最初のフェーズではfree fixed pointで反Hebb則の更新が行われ,2番目のフェーズでweakly-clamped fixed pointでHebb則の更新が行われる
- 最初のフェーズではシナプスの更新が行われずに，2番目のフェーズで両方の更新が行われる