Bidirectional Attention Flow for Machine Comprehension
Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, Hannaneh Hajishirzi, ICLR 2017
https://arxiv.org/abs/1611.01603
概要
SQuADのQAデータセットには，Context（質問に対する答えがあるテキスト）とQuery（質問）があるが，ContextとQueryはSimilarity Matrixを中心にアテンションが計算される．Similarity Matrixtとは，ContextとQueryをそれぞれEmbeddingした値をもとに計算されるTxJ （TはContext長，JはQuery長）のContextとQueryの関係性を表すマトリックスである．そのアテンションはContext to Query（C2Q，どのQueryワードが各Contextワードに対して関係しているか）とQuery to Context（Q2C，どのコンテキストワードがQueryワードにもっとも近いか）の両方向のアテンションを使うのが特徴．またAttention Flowとあるように，コンテキストを他の手法のように固定ベクトルに落とさず，シーケンスとして表現しているのも特徴．
jojonki
commented
6 years ago 
Bidirectional Attention Flow for Machine Comprehension Minjoon Seo, Aniruddha Kembhavi, Ali Farhadi, Hannaneh Hajishirzi, ICLR 2017 https://arxiv.org/abs/1611.01603
概要
SQuADのQAデータセットには，Context（質問に対する答えがあるテキスト）とQuery（質問）があるが，ContextとQueryはSimilarity Matrixを中心にアテンションが計算される．Similarity Matrixtとは，ContextとQueryをそれぞれEmbeddingした値をもとに計算されるTxJ （TはContext長，JはQuery長）のContextとQueryの関係性を表すマトリックスである．そのアテンションはContext to Query（C2Q，どのQueryワードが各Contextワードに対して関係しているか）とQuery to Context（Q2C，どのコンテキストワードがQueryワードにもっとも近いか）の両方向のアテンションを使うのが特徴．またAttention Flowとあるように，コンテキストを他の手法のように固定ベクトルに落とさず，シーケンスとして表現しているのも特徴．
code
開発者：https://allenai.github.io/bi-att-flow/ jojonki追試版（学習に時間がかかるため最後まで確認できていない）：https://github.com/jojonki/BiDAF