The hippocampus as a predictive map

TMats commented 7 years ago

TMats commented 7 years ago

TMats commented 7 years ago

Abstruct

認知地図は海馬の機能の主要なメタファーだった
- 場所細胞は空間の地理的な表現をエンコードするというアイデア
しかし場所細胞は純粋に空間的な表現をするのではないのがわかった
どんな表現が将来の報酬を最大化する為に一番有効なのか？
- この解答は predictive representaion
- 従来の認知地図では失われていた側面を捉えられる
entorhinal grid cell がpredictive representaionの低次元の基盤になり予測におけるノイズの圧縮と階層的プランニングのマルチスケールな構造を得る
海馬はsuccessor stateとして各状態を表現するpredictive mapを学習していると議論
predictive map理論では場所細胞を将来の状態(報酬と結びついている)をエンコードしていると考える
entorhinal grid cellは空間に対して周期的に発火し，predictive mapの低次元の分解
- predicitve mapの安定化とサブゴールの発見に有用

場所そのものをエンコードするのではなく現在の状態が与えられた時の将来の状態を予測をエンコード
SRは価値関数の定義から自然に生まれる
- 価値関数は報酬関数と状態の予測的表現の内積として表現できる
- SRはその状態から始まる軌道の期待discount future occupancy をエンコードする
- SRの推定は逐次的にTD学習すれば更新できる

モデルフリー・モデルベースの両方の良さを組み合わせたモデルになっている
- モデルフリーは各場所ごとに価値関数の再学習が必要
- モデルベースは価値関数の推定を更新するまでにたくさんの探索が必要
SRはMDP的によく定義されているのでタスクが空間的であろうとあるまいと同じアーキテクチャを利用できる
SRの海馬におけるエンコード(後半?)
この論文の理論的な主張はSRは海馬にエンコードされていること
- 各ニューロンは環境の可能な状態をエンコードしている
- 次の状態s'をエンコードするニューロンの発火率は現在の状態s・policyにおいてs'を訪問する割引期待回数に比例する
  entorhinal grid cellによるpredictive mapの次元削減(?)
grid fieldがSRの低次元の固有値分解を反映すると議論
fieldはタスクの構造のpredictive mapを反映したもの
grid fieldsを利用したサブゴールの発見(?)
SR固有値ベクトルはボトルネックになる状態を特定してサブゴールを作成することに使われうる

この論文の貢献は強化学習における予測機能の定式化と海馬が適応行動を支える新たな見方の提供
SRはモデルフリーとモデルベースの中間的立ち位置をしめる
- 価値関数を予測の表現と報酬の表現に分けることで，報酬が変化した時にも価値を柔軟に再計算できるようになる
- 文脈効果には事前に状況に遭遇することで海馬が文脈の予測的な表現を獲得し，その後の学習が空間を早く伝播するという解釈を与える
ランダム探索をするpolicyのためのSRは自然に汎化を促進する
人間において報酬が変化した時に，再評価はpolicyに依存したように起きる
- これはSRによる部分的な柔軟性と首尾一貫している
SRとエピソード記憶の関連性

TMats commented 7 years ago

実装はここにアップされる予定(matlab) https://github.com/kstach01/predictive-hc

TMats commented 7 years ago

successor representation(SR)

Improving Generalisation for Temporal Difference Learning: The Successor Representation #69
http://www.gatsby.ucl.ac.uk/~dayan/papers/d93b.pdf

Deep Successor Reinforcement Learning

prednet

Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning #61
https://arxiv.org/abs/1605.08104