TreeGAN: Syntax-Aware Sequence Generation with Generative Adversarial Networks

short summary

文生成のための、構文を考慮したganであるTreeGanの提案。文を直接生成する代わりに、構文木（actionの系列）を生成することで、文法情報を考慮する。

ganの目的関数

sequence dataにganを適用する際、Gが生成するのは離散的なシンボルなので、Dのロスの勾配から誤差逆伝搬はできない。よって、seqganと同様にpolicy gradientを用い、Gに関しては以下を最大化。

報酬は、Dが出す本物に見える確率

Dに関しては通常のganの目的関数を最小化。

generator

GにはLSTMを用いる。

この例において、Gは以下のようなactionを順に生成

rootノードから始まり、異なる生成ルールを選んでいくことで木を拡大し、葉において終端記号を生成し枝を閉じる。

LSTMへの入力xは、1つ前のactionのembeddingと、親(t2, t3, t8から見たt1)のembeddingをconcatしたもの。 LSTMの出力には、現在のノードから文法的に正しいものだけが選ばれるようにマスクをかける。

生成の際に構造をうまく扱うために、pushdown automata(PDA)のようにstackをうまく使う。親用のstackと子用のstackを用意する。生成時には、

親stack、子stackからそれぞれP. Cを取り出す(pop)
Cが終端記号であればそれを出力とし次ステップまで何もしない
Cが非終端記号であれば、
- Pのembeddingと1つ前のactionのembeddingをconcatしてLSTMに入力し、actionを出力。
- 次ステップに移る前に、Cを親stackに、actionによりCから生成されるものを（リバースして）子stackに入れる

discriminator

構文木の構造と意味をとらえるために、Tree LSTMを用いる

pretraining

ganの学習前に、Gはmaximum likehood estimation(MLE)で、Dは本物の構文木とsub treeを入れ替えた木とを判別するタスクで事前学習する。

結果

SQLやpython code generation(Django)において、seqganやLSTMを大きく上回る精度。文法的に正しい文章が出力される

author

Xinyue Liu Worcester Polytechnic Institute xliu4@wpi.edu Xiangnan Kong Worcester Polytechnic Institute xkong@wpi.edu Lei Liu Apple magicliulei@gmail.com Kuorong Chiang Huawei kuorong.chiang@gmail.com

URL

https://arxiv.org/pdf/1808.07582.pdf

year

2018

kacky24 / papers