ブログデータ分析プロジェクト関連

[hiroshinagaya]

積ん読リスト

• Efficient Estimation of Word Representations in Vector Space
• Haw-Shiuan Chang, Ziyun Wang, Luke Vilnis, and Andrew McCallum. 2018. Distributional inclusion vector embedding for unsupervised hypernymy detection. In Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers), pages 485–4 Skip-Gram の予測モデルを用いた手法
• 橋本 隼人，森 信介，言語モデルを用いた上位語・下位語関係の推定，言語処理学会第25回年次大会，2019.

参考

• Maayan Geffet and Ido Dagan. 2005. The distributional inclusion hypotheses and lexical entailment. In Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics, ACL ’05, pages 107–114. Association for Computational Linguistics. 分布包含仮説について
• Zellig S. Harris. 1954. Distributional structure. Word, 10(2-3):146–162． 分布仮説について

[hiroshinagaya]

語の分散表現と上位下位関係―研究動向と今後への試案―

1. どんなもの？

2. 先行研究と比べてどこがすごいの？

3. 技術や手法の"キモ"はどこにある？

4. どうやって有効だと検証した？

5. 議論はあるか？

6. 次に読むべき論文はあるか？

[hiroshinagaya]

Ruiji Fu, Jiang Guo, Bing Qin, Wanxiang Che,Haifeng Wang, and Ting Liu. Learning semantic　hierarchies: A continuous vector space approach.　IEEE/ACM Transactions on Audio, Speech, and　Language Processing, 23(3):461–471, 2015.

1. どんなもの？

• 単語を数値ベクトルで表す単語ベクトル（wordembedding; WE）を用いた上位概念語推定手法

2. 先行研究と比べてどこがすごいの？

• 単語ベクトルの学習データ内に単語が出現していれば，上位概念語を推定することができるので，Wikipedia の記述にない単語にも対応できる．

3. 技術や手法の"キモ"はどこにある？

• 下位概念語と上位概念語の単語ベクトルの差に関してクラスタリングを行い，各クラスタで下位概念後の単語ベクトルを上位概念語のベクトルへ射影する行列を求める2段階の手法により上位概念語を推定．

4. どうやって有効だと検証した？

5. 議論はあるか？

• クラスタリングが射影行列の学習と独立しているため，射影行列の学習が単語ベクトルの表現やクラスタリングの性能に依存している．
• 学習データ内の上位・下位概念語ペアのみ学習するため，下位概念語を射影した先の近くに正解の上位概念語が位置していても，不正解の上位概念語がそれより近くにある場合，不正解の上位概念語を推定してしまう．

6. 次に読むべき論文はあるか？

[hiroshinagaya]

BERTの原論文を読んだ BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding