-
## どんなもの
- Hopfield Networkにおいて、N個のニューロンを使って、どれくらいのメモリパターンを記憶できるかということに焦点を当てている
- Hopfield Networkモデルにおける重みの接続について、2つの要素間の関係性だけでなく、多数の要素間の関係性を明示的に取り扱うことを行った
- 多数の要素間の関係性を議論するうえで、幾何学的な性質(トポロジー)を利用する…
-
From Yannic Kilcher:
- [ ] [Hopfield Networks is All You Need (Paper Explained) - YouTube](https://www.youtube.com/watch?v=nv6oFDp6rNQ)
-
**Guidelines**
*We are very excited to meet you at the 2020 OHBM Brainhack 🎉* *To submit a project, you need to be an attendee of the 2020 OHBM Brainhack. We ask you to register first over [here](h…
-
Is it possible to use Paysage to make a classical Hopfield network, without hidden units? In the examples, there is a Hopfield Network for MNIST, but this has hidden units. In trying to remove it (eit…
-
## どんなもの?
- 連続な状態変数の上でのHopfield Networkについて、エネルギー関数の定義と、エネルギーの更新規則を新たに提案した
- Hopfield Networkは記憶パターン(訓練データ)xをもとに、エネルギー関数の最小化を行う仮定で、新たな状態ξをxに近づける(復元)
- このエネルギー関数について、更新による収束性や、収束スピードについて、解析的に証明を行ってい…
-
-
## 一言でいうと
Self-Attentionの更新ルールが連続的な状態を記憶するHopfield Networkの更新と同等であるとした論文。これに基づく解析ではBERTの第一レイヤは全パターンの平均、上に行くにつれ特定パターンを記憶ししているとのこと。またPooling/LSTM(Memory)の処理もHopfiledで代替可能であると主張している。
### 論文リンク
h…
-
### Description
There are currently no tests to enforce correct construction of Hopfield Networks inside architect this resulted in issue #220
### Tasks
Include specific tasks in the order they …
-
Copied from Slack Reputation channel May 26:
Anton Kolonin [10:14 PM]
JIC, if you could take all your thought stream on "finding reputation network attractors in heterogeneous social networks"…
-
Has anyone tried downscaling the K and/or Q matrices for repeated layers in franken-merges? This should act like changing the temperature of the softmax and effectively smooth the distribution:
**H…