Simplicial Hopfield Network

[yagumana]

どんなもの

• Hopfield Networkにおいて、N個のニューロンを使って、どれくらいのメモリパターンを記憶できるかということに焦点を当てている
• Hopfield Networkモデルにおける重みの接続について、2つの要素間の関係性だけでなく、多数の要素間の関係性を明示的に取り扱うことを行った
• 多数の要素間の関係性を議論するうえで、幾何学的な性質（トポロジー）を利用することを提案

先行研究と比べてどこがすごい？

• 先行研究は、エネルギーの関係式に多項式や指数関数を導入することで、implicitに多変数間の関係性を扱っていた
• それに対し、本論文は多変数の関係性を明示的に扱うことにより、その重要性と今後の研究の方向性を提案した

技術や手法のキモはどこ？

• 多変数間の関係性を明示的に扱うという着眼点
• これにより、トポロジー等の高度な数学の知識を今後上手く取り入れることができるかもしれない

どうやって有効だと検証した？

• 2変数と3変数の重みについて、割合を変えたものを5つ用意し、パターンの復元率を調査した
• 状態変数が二値を取る離散の場合と、連続値を取る場合とでそれぞれ実験している
• 離散の場合に関しては、100個のニューロンと、ランダムなメモリパターンを用意している
• 連続の場合に関しては、MNIST, CIFE-10, Tiny ImageNetを用いている
• いずれの場合も、復元結果が、多変数の関係性を取り入れたほうが良いことを示している
• 比較においては、重み（エッジ）の数の合計は等しいという条件下で行うことが重要！！

議論はある？

• 多変数の要素の関係を扱うと精度が上がることはわりと直感と一致？
• 多変数に注目することについて、Hopfield Networkにおいては初の試みだが、深層学習という観点からすれば、CNNなどがそう
• またこのような関係性を扱うというのは、脳のニューロンの構造からみても自然である。そして、こことの関わりを追及すべき

[yagumana]

1：22m 2：45m 3,4：32m まとめ： 22m 合計: 122m