search

ChenChengKuan / SeqGAN_tensorflow

SeqGAN tensorflow implementation
MIT License
107 stars 37 forks source link

关于target_lstm中的参数问题 #10

Closed wyyDandelion closed 11 months ago

wyyDandelion commented 6 years ago

在做文本训练的时候，嵌入维度及词汇表维度改变，相应的self.g_embeddings = tf.Variable(self.params[0])就会发生改变，还有后面涉及到的params中的参数，这个参数读取也得改变，但是其读取的维度已经是固定的，如果自己随机初始化这些参数会有什么影响？已有真实数据的话，感觉这里这个target_lstm是计算损失还有的作用。还有就是在训练的时候，损失越小但生成样本的质量却越来越差（从长度、分布情况与真实样本来看），不知道是什么问题

ChenChengKuan commented 6 years ago

NLL本身愈低不见得代表产生的样本品质愈好(e.g.,多样性 词汇丰富度)，这个问题之前ACL还EMNLP有人讨论过。随机调整会有什麽影响只能自己试试看

wyyDandelion commented 6 years ago

对文本训练有自己的真实数据集，那其实是不是就可以不用target_lstm做评估损失，可以直接用generator的损失？对于GAN来说，查看样本质量不是看判别器的损失么，为什么在做数据合成实验不以判别器的损失来查看效果呢？在训练过程中发现用target_lstm的损失跟其参数有关（维度不同的话，就不能用原来的参数），它也不参与训练的指导。对于在对抗训练过程中，样本品质越差，不知什么好的建议或是解决办法？

ChenChengKuan commented 6 years ago

如果你有真实的任务(Ex 文本翻译) 那就用那个任务的衡量指标就好(e.g., METEOR)。Target LSTM只是原始论文中的一个小实验(synthetic dataset)