[2014]Convolutional Neural Network Architectures for Matching Natural Language Sentences

[IkokObi]

ざっくり言うと

• CNNベースで文章のペアの分類等を行う
• 自然言語処理にCNNを適用した初期の頃の論文？
• ペアに対してSiamese型で特徴量を取り出す場合(ARC-I)と，序盤からペアベースで処理する場合(ARC-II)を提案している
• ARC-IIは文章のペアの相互作用を考慮して推論・学習できていると考えられる

キーワード

• NLP
• CNN
• document matching
• Classification

1. 情報

論文リンク

https://papers.nips.cc/paper/5550-convolutional-neural-network-architectures-for-matching-natural-language-sentences

著者

Baotian Hu, Zhengdong Lu, Hang Li (Huawei), Qingcai Chen

投稿日付

2014/12/8-13 (NIPS 2014)

2. 先行研究と比べてどこがすごい？

• 文章の特徴量として，単語のembeddingのsum等ではなく，convolution層とpooling層を用いた深層学習を適用
• 文章のペアについて分類を行う際に，共通のDNNを用いて特徴量を抽出するSiamese型のみでなく，入力層からペアの相互作用を考慮して処理する構造を採用

3. 技術や手法のキモはどこ？

• 文書ペアの相互作用を強く反映してCNNで学習する点

4. どうやって有効だと検証した？

• 3つのタスクでベースラインモデルと検証
  • Sentence Completion: 文章を途中で区切り，後続の文を判定する
  • Matching A Response to A Tweet: Twitterのレスが真のものかランダムかを判定
  • Paraphrase Identification: 言い換えの判定(MSRPデータセット)

5. 議論はある？

6. 次に読むべき論文は？

• Natural Language Processing (Almost) from Scratch
  • Ronan Collobert, Jason Weston, Léon Bottou, Michael Karlen, Koray Kavukcuoglu, Pavel Kuksa
  • https://dl.acm.org/citation.cfm?id=2078186
  • 2011/2/1
  • 本文中で出てきたSENNAモデル(CNNのモデル)の論文
  • 被引用数が4266件

[IkokObi]

7. 実装の詳細

• convolutionとpoolingについて

• 窓サイズkで，1層手前のk個のd次元ベクトルを畳み込む．これがフィルター数f個分，存在する．

  

• Architecture-IはMLPに渡すまでの段階までは，2つの文のembeddingは交わらない

  

• Architecture-IIは最初の段階から2つの文の相互作用を取り込んでいる

  

[IkokObi]

8. データセット

• Sentence Completionタスク
  • Reuters(ロイター通信)から文を抽出
  • 文をカンマで区切って，2つの句が元々連続していたか否かを判定
  • 学習時は(x, y+, y-)という形で3つ組を作成．y+が正例，y-が負例．
  • 600,000個の正しいペアから3,000,000個の学習データ
  • テストデータは50,000個の正しいペアそれぞれに4つの負例を加えてテスト
• Matching A Response to A Tweetタスク
  • tweetA, Bについて，BがAへのレスか否かを判定
  • 4,500,000個のtweetとそれに対するレスポンスのペアを集めた
  • 10個の負例をランダムに抽出して，3つ組4,500,000個を学習データ
  • テストデータは300,000個用意し，正例それぞれについてランダムに4つを負例として加えてテスト
• Paraphrase Identificationタスク
  • 2つの文のペアが同じ意味か否かを判定
  • MSRPデータセットを用いている
  • train : test = 4076 : 1725

[IkokObi]

9. 結果の詳細

• ベースラインモデルについて

  • WORDEMBED: 単語のembeddingのsumを文の特徴量としてMLPで分類
  • DEEPMATCH: 引用論文[13]のモデル．bag-of-wordsモデルらしい．
  • URAE+MLP: 引用論文[19]のモデルUnfolding Recursive Autoencoderで100次元のベクトルを得て，MLPで分類
  • SENNA+MLP/SIM: 引用論文のモデルSENNAで文章をencodingしてMLPで分類
  • SENMLP: 文章全体を受け取り，単語をembeddingしてMLPで分類．1つ目との違いは，ペア全部でsumを取る？

• Sentence Completion

  

• Matching A Response to A Tweet

  

• Paraphrase Identification

  

[IkokObi]

雑感&メモ

• https://github.com/IkokObi/paper-readings/issues/13 で次に読もうと思った論文
• IRの観点からだと，2つの文章の相互作用を序盤から取り込むARC-IIのようのモデルは候補全てについて毎回計算する必要があり，候補が多い段階からは使いづらい
• IR的にはむしろARC-IのようなSiamese型の方が特徴量を事前に計算しておけるので，計算量を減らせる