Classification and Clustering of Arguments with Contextualized Word Embeddings - Githubissues

knok / acl-2019-reading

個人的なACL 2019論文読みメモ

0 stars 0 forks source link

Classification and Clustering of Arguments with Contextualized Word Embeddings #35

Open knok opened 4 years ago

knok commented 4 years ago

Nils Reimers, Benjamin Schiller, Tilman Beck, Johannes Daxenberger, Christian Stab, Iryna Gurevych https://www.aclweb.org/anthology/P19-1054/

議論マイニング(arguments mining)の一種、arguments classification/clusteringを行う
- 単純な単語分散表現ではなく、ELMoやBERTのような、文脈を踏まえた表現(contextualized word embedding)を使ってどうなるかを試す
- 対象はopen domain
- word2vec, gloveなどでは文脈を考慮できない
- 4つの異なるデータセットで試してみる
  - 分類タスク
  - the UKP Sentential Argument Mining Corpus
  - Evidence Sentences Corpus
  - クラスタリング
  - この実験用に新規に作成したコーパス
    - aspect-based argument clustering
  - the Argument Facet Similarity Corpus
- 既存手法を上回り、人間のパフォーマンスに近づいた

knok commented 4 years ago

評価時に複数の文類似度尺度を使っている

TF-IDFに基づくベクトル(ストップワードを使わず、頻度の高い単語を利用)でのコサイン類似度
InferSentで得られたセンテンス埋め込みベクトルのコサイン類似度
GloVe, ELMo, BERTの単語埋め込みの平均に対するコサイン類似度
BERTをfine tuningしたもの
- [CLS]トークンに対してsigmoid層を追加し、いくつかのトピックで訓練
- バッチサイズ32, 学習率 2e-5, 3 epoch