Open ymym3412 opened 6 years ago
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing Pengcheng Yin, Chunting Zhou, Junxian He, Graham Neubig
文の潜在的なツリー構造を半教師ありで学習するsemantic parsingのモデル
教師なしの学習にVAEを用いているところ
Semantic parsingのモデルの学習には多くのラベル付きデータが必要だがラベル付きデータの学習にはコストがかかる。 そこで既にあるラベル付きのデータによる教師あり学習と、文の確率に対する変分下界をVAEで最大化する教師なしの学習とを合わせた半教師ありセッティングで学習を行う。
ATISデータセットを使ったsemantic parsingと、DJANGOデータセットを使ったコード生成で検証。 少量データでは教師ありに勝るが、フルにデータを使うと教師ありのSOATA手法には追い付かない。 小規模なデータセットでの利用は考えられる。
多くのデータを用意できないような状況でよさそう
Multi-space Variational Encoder-Decoders for Semi-supervised Labeled Sequence Transduction Chunting Zhou, Graham Neubig
第10回最先端NLP勉強会での資料 https://speakerdeck.com/wtsnjp/snlp2018
0. 論文
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing Pengcheng Yin, Chunting Zhou, Junxian He, Graham Neubig
1. どんなもの?
文の潜在的なツリー構造を半教師ありで学習するsemantic parsingのモデル
2. 先行研究と比べてどこがすごい?
教師なしの学習にVAEを用いているところ
3. 技術や手法のキモはどこ?
Semantic parsingのモデルの学習には多くのラベル付きデータが必要だがラベル付きデータの学習にはコストがかかる。 そこで既にあるラベル付きのデータによる教師あり学習と、文の確率に対する変分下界をVAEで最大化する教師なしの学習とを合わせた半教師ありセッティングで学習を行う。
4. どうやって有効だと検証した?
ATISデータセットを使ったsemantic parsingと、DJANGOデータセットを使ったコード生成で検証。 少量データでは教師ありに勝るが、フルにデータを使うと教師ありのSOATA手法には追い付かない。 小規模なデータセットでの利用は考えられる。
5. 議論はある?
多くのデータを用意できないような状況でよさそう
6. 次に読むべき論文は?
Multi-space Variational Encoder-Decoders for Semi-supervised Labeled Sequence Transduction Chunting Zhou, Graham Neubig