-
## 一言でいうと
Self-Attentionの更新ルールが連続的な状態を記憶するHopfield Networkの更新と同等であるとした論文。これに基づく解析ではBERTの第一レイヤは全パターンの平均、上に行くにつれ特定パターンを記憶ししているとのこと。またPooling/LSTM(Memory)の処理もHopfiledで代替可能であると主張している。
### 論文リンク
h…
-
[Right for the right reasons: Training differentiable models by constraining their explanations](https://www.ijcai.org/proceedings/2017/371)
Expressive classifiers such as neural networks are among t…
-
## 一言でいうと
文脈情報(単語系列の情報)を抽出する機構を転移学習する仕組み。具体的にはL層の双方向LSTMを事前学習して使用。単語情報を表す単語分散表現と各層の隠れ層をそれぞれマージしたものとを結合し利用するが、どの層をどれだけ重視するかの重みはタスク個別に設定する。これで質問回答等NLP6タスクでSOTA
### 論文リンク
https://arxiv.org/abs/1…
-
## 一言でいうと
Aという文があるとき文BがAとどういう関係か(強調、反対など)を推定するタスクのデータセットについて、Aだけで推定可能という話。代表的なSNLI/MultiNLIで、互いに半分以上は推定可能だった。これは、クラウドソーシングで文を作る際Aをあらかじめ強調しやすい文にするなどされていることによるという
### 論文リンク
https://arxiv.org/ab…
-
## 一言でいうと
言語モデルなどを利用したフェイクニュース生成に対応していくために、基礎的な脅威モデルを作成したという研究。具体的にはニュース生成器/識別器を作成し現時点での生成/識別精度を検証している。生成器は発行元/日付/タイトル/本文等について、指定されたもの以外を順次穴埋めしていく形で生成する
### 論文リンク
https://arxiv.org/abs/1905.1…
-
Please share your feedback on this group discussion by replying in this thread. Your contributions are important as we aim to identify gaps in knowledge, pinpoint collaborators who can help us bridge …
-
Title: Decentralized Computing for Partitioning and Solving Hugging Face Models
Abstract:
This research proposal presents a novel approach to partitioning and solving Hugging Face models in a dece…
-
How to write a yml file which consists same question in different styles but have same answer.
Ex:
Ques:
Where is your location?
Your location?
what is your location?
what location?
Ans: It's I…
-
We are trying to make a sql query generator with chat complation.
prompt: `Show me the customers`
history:
```json
[
{"role": "user", "parts": "### SYSTEM CONTEXT ### \nYou are an *MSSQL* c…
-
### Question
_No response_