Open ymym3412 opened 6 years ago
Adversarial Contrastive Estimation Avishek Joey Bose1,2,∗ † Huan Ling1,2,∗ † Yanshuai Cao1,∗
Noise Contrastive Estimation(NCE)の枠組みをGANを使って拡張する
汎用性の高いNCEをGANを使って拡張したところ
NCEで負例をサンプリングする際に選択している単語を一切考慮せずサンプリングするため、局所解に陥ってしまいやすい。 そこでGANフレームワークを使用し、選択している単語の文脈語か判断が難しい単語がサンプリングされやすいようにすることで局所解に陥りずらくする。
Word Embeddings, Order Embeddings Hypernym Prediction, knowledge Graph Embeddingsのタスクで検証。 定性的/定量的な評価を与えた
学習がなかなか重いようだ
[1701.06538] Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, Jeff Dean
日本語の解説資料 https://speakerdeck.com/yyammt/acl2018du-mihui-adversarial-contrastive-estimation
ymym3412
commented
6 years ago ymym3412
commented
6 years ago
0. 論文
Adversarial Contrastive Estimation Avishek Joey Bose1,2,∗ † Huan Ling1,2,∗ † Yanshuai Cao1,∗
1. どんなもの？
Noise Contrastive Estimation(NCE)の枠組みをGANを使って拡張する
2. 先行研究と比べてどこがすごい？
汎用性の高いNCEをGANを使って拡張したところ
3. 技術や手法のキモはどこ？
NCEで負例をサンプリングする際に選択している単語を一切考慮せずサンプリングするため、局所解に陥ってしまいやすい。 そこでGANフレームワークを使用し、選択している単語の文脈語か判断が難しい単語がサンプリングされやすいようにすることで局所解に陥りずらくする。
4. どうやって有効だと検証した？
Word Embeddings, Order Embeddings Hypernym Prediction, knowledge Graph Embeddingsのタスクで検証。 定性的/定量的な評価を与えた
5. 議論はある？
学習がなかなか重いようだ
6. 次に読むべき論文は？
[1701.06538] Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer Noam Shazeer, Azalia Mirhoseini, Krzysztof Maziarz, Andy Davis, Quoc Le, Geoffrey Hinton, Jeff Dean