This Email Could Save Your Life: Introducing the Task of Email Subject Line Generation

Rui Zhang, Joel Tetreault (Yale University, Grammarly) https://www.aclweb.org/anthology/P19-1043/

電子メールのSubjectを生成するタスクへの取り組み
- 一種の要約だが、ニュースの見出し生成などとは異なる性質がある
- 先行研究に要約やキーワード抽出、分類などはあるがSubject生成に取り組んだ話は著者の知る限りはない
- メール本文からSubjectを生成するタスク Subject Line Generation (SLG)を提案
- 要約と似ているが目的が異なる
- Subjectは受け手に有用でなければならない
- ニュース見出し生成などと異なり、とても短い文で構成される
  - 高度に抽象化された要約といえる
- データセット Annotated Enron Subject Line Corpus (AESLC)を構築した
- Enronコーパスをもとにクラウドソーシングで構築
- メールSubjectの評価指標 Email Subject Quality Estimator (ESQE)を構築
- 回帰ベース
- Subject生成のための2ステージの手法を提案
- Multi-Sentence Selection and Rewriting with Email Subject Quality Estimation Reward
  - 複数のセンテンス(メール本文)からnamed entityや日付といった顕著な情報を獲得
  - 選択された複数のセンテンスからSubjectを構成
  - 教師ありのクロスエントロピーによる訓練とESQEによる報酬に基づいた強化学習での訓練
データセット (ASLEC)
- https://github.com/ryanzhumich/AESLC で公開
- 他のデータセットと比較して、要約文が顕著に少ない単語で構成されている
モデル
- Chen and Bansal, 2018の手法をベース
- センテンスを選択するextractor
  - pointer-networkベース
  - CNN-BiLSTM-attentionでextraction分布を求める
- 抽象的な情報を得るabstractor
  - seq2seq+copy mechanism(OOVも扱える)
- Email subject quality estimator (ESQE)
  - temporal CNN+Linear
  - 人手でアノテーションされた3490文で訓練
- 学習ステップには強化学習が含まれている
  - 微分不可能なメトリクスに基づき最適化
  - 一般には要約向けにROUGE, 翻訳向けにMETEOR
  - この研究ではニューラスベースの回帰モデルESQEを用いる
- マルチステージ訓練
- 教師あり事前訓練
  - extractor, abstractorは教師あり学習で事前訓練をしておく
- 強化学習
  - アクションとポリシーの定式化
  - 報酬関数
  - SQ()はSubject quality
  - 期待する報酬を最大化する
実験
- 自動評価と人出評価
- 比較: 教師なし抽出型要約・抽象型要約 (LEAD-2, TextRank, LexRank, pointer-generator net系等)
- 自動評価ではMETEOR以外では良い結果
  - METEORはrecall重視、長いセンテンスに有利
- ESQEスコアの結果
- (ESEQを学習に組み込んでいるから提案手法が高いこと自体はある意味当然のような)
- 人出評価
- 良い結果
Future work
- モデルとデータセットのより一般化

knok / acl-2019-reading

This Email Could Save Your Life: Introducing the Task of Email Subject Line Generation #108