search

AkihikoWatanabe / paper_notes

たまに追加される論文メモ
https://AkihikoWatanabe.github.io/paper_notes
17 stars 0 forks source link

Challenges in Data-to-Document Generation, Wiseman+ (with Rush), EMNLP'17 #207

Open AkihikoWatanabe opened 6 years ago

AkihikoWatanabe commented 6 years ago

https://arxiv.org/abs/1707.08052

AkihikoWatanabe commented 3 years ago

・RotoWire（NBAのテーブルデータ + サマリ）データを収集し公開 image

・Rotowireデータの統計量 image

AkihikoWatanabe commented 3 years ago

【モデルの概要】 ・attention-based encoder-decoder model

・BaseModel 　- レコードデータ r の各要素（r.e: チーム名等のENTITY r.t: POINTS等のデータタイプ, r.m: データのvalue）からembeddingをlookupし、1-layer MLPを適用し、レコードの各要素のrepresentation（source data records）を取得 　- Luongらのattentionを利用したLSTM Decoderを用意し、source data recordsとt-1ステップ目での出力によって条件付けてテキストを生成していく 　- negative log likelihoodがminimizeされるように学習する

・Copying 　- コピーメカニズムを導入し、生成時の確率分布に生成テキストを入力からコピーされるか否かを含めた分布からテキストを生成。コピーの対象は、入力レコードのvalueがコピーされるようにする。 　- コピーメカニズムには下記式で表現される Conditional Copy Modelを利用し、p(zt|y1:t-1, s)はMLPで表現する。 image 　- またpcopyは、生成している文中にあるレコードのエンティティとタイプが出現する場合に、対応するvalueをコピーし生成されるように、下記式で表現する image 　- ここで r(yt) = image