Hopfield Networks is all you need

[yagumana]

どんなもの?

• 連続な状態変数の上でのHopfield Networkについて、エネルギー関数の定義と、エネルギーの更新規則を新たに提案した

• Hopfield Networkは記憶パターン（訓練データ）xをもとに、エネルギー関数の最小化を行う仮定で、新たな状態ξをxに近づける（復元）

• このエネルギー関数について、更新による収束性や、収束スピードについて、解析的に証明を行っている。

  • 記憶パターンがどの程度似ているかを表すΔに対し、指数関数的に収束
  • 記憶容量については、記憶パターンベクトルxの次元dに対して、2^{d/2}

• 深層学習とHopfield Networkを3つの形式で統合

  • Hopfield層（queryとkey行列を掛け算）
  • Hopfield pooling層 (queryを固定⇒poolingとか、averageの役割とする　学習させることも可能)
  • HopfieldLayer層 (svmとかk-neighbor、全結合の深層学習モデルとの置き換え)

先行研究と比べてどこがすごい?

• 連続変数上で記述することにより、深層学習に組み込みやすくなった
• Transformerとの関連性を導いたことにより、Transformerに対して記憶という意味付けを行うことが可能
  • bertの解析を行う⇒非効率性を主張⇒更なる改善の余地

技術や手法のキモはどこ?

• 連続変数に拡張したHopfield Networkのエネルギーに関する式を、平均値の定理等を使った式変形を通して、TransfoermerにおけるAttentionの式に関連付けたところ

どうやって有効だと検証した?

• Attentionとの式の関連性については、数式が一致することにより示す（第一段階）
• その後、Transformerが使われているbertのattention機構における解析を行う⇒softmax値が0.90となるのに必要なパターン数の数を数える（疑似安定点の数に相当）⇒　疑似安定点が多い層があるので、改良の余地あり

議論はある?

• 紹介されている3つのHopfield層について、新たなHopfield modelを作ったというよりは、既存の手法をHopfield modelの延長線上でとらえられると解釈すべきでは。
• 扱っているデータセットについて、MIT以外はどうなっている？どれくらい幅広いタスクに有用で、なぜそのタスクに強いのかに関する議論が不足しているように思える。（少ないデータセットに対する精度が良いのは何となく理解）
• 上に続いて、大きいデータセットもHopfiedLayer(少数に強いやつ)をうまい形で組み込み、適切なタイミングで用いることで、大枠の推論を行った後の、細かい部分の復元に活用できるのでは。

[yagumana]

1,2 49分 3 45分 4 25分 まとめ　29 分 合計　149分