Deep Predictive Coding Networks for Video Prediction and Unsupervised Learning

[TMats]

https://arxiv.org/abs/1605.08104

• William Lotter, Gabriel Kreiman, David Cox
• Submitted on 25 May 2016 (v1), last revised 1 Mar 2017 (this version, v5)

[TMats]

いわゆるprednet 実装 https://github.com/coxlab/prednet

The architecture is implemented as a custom layer1 in Keras. Code and model data is now compatible with Keras 2.0. Specifically, it has been tested on Keras 2.0.6 with Theano 0.9.0, Tensorflow 1.2.1, and Python 2.7. The provided weights were trained with the Theano backend. For previous versions of the code compatible with Keras 1.2.1, use fbcdc18. To convert old PredNet model files and weights for Keras 2.0 compatibility, see convert_model_to_keras2 in keras_utils.py.

[TMats]

• predictive codingからインスピレーションを受けている

  • 脳は連続的に入力の信号の予測を行なっており，トップダウンの接続がこの予測を伝達する
  • 実際の信号との予測誤差が階層の上部に伝播する(ここがキモ)

• 動画予測

  • 次のフレームの予測，appendixでそれ以降の予測もしている

• モジュールが階層的に積み重なる

• 各モジュールはinput convolutional layer，recurrent representation layer，prediction layer，error representationの4つの部分から構成

  

• 対象の動く向きなど，潜在変数の学習を確認

  • 内部のユニットから変数へのデコーダを作成してテスト

[TMats]

これとmodel-base RLは相性が良さそう

[TMats]

predictive coding系の論文

• Deep Predictive Coding Networks #121
• Whatever next? Predictive brains, situated agents, and the future of cognitive science #122
  • Andy Clark
• Cerebral hierarchies: predictive processing, precision and the pulvinar #123
  • 金井さん
• Jeff HawkinsのHTM周り