search

hit-computer / SC-LSTM

Implement SC-LSTM model for text generation in control of words, in Python/TensorFlow
88 stars 31 forks source link

Beam Search和Score #6

Closed Dr-Corgi closed 7 years ago

Dr-Corgi commented 7 years ago

您好！ 我最近看了SC-LSTM的这篇论文，对文章Decoding部分Rerank的内容不太理解，所以上来翻了这份源代码。 代码里面Beam Search部分的评分计算应该是“将每一步选择的词语对应的概率累加起来”，是吗？ 我在论文里看到一个score评分项： Score

想知道这个R在代码里面的哪一部分实现了吗？好像没有找到..

谢谢！

hit-computer commented 7 years ago

您好， 我的这份代码只是实现了SC-LSTM这个模型而已，模型训练好了以后，用模型进行测试（生成文本）这部分和原论文是不一样，我们并没有进行rerank，所以在代码没有R这部分。 论文中decode部分是分为两步的，第一步利用sample策略生成候选，第二步利用R对候选进行rerank，在我的代码中就实现到第一步，根据我的理解Ff就是正常SC-LSTM的代价，而Fb是另外一个利用backward context训练的SC-LSTM的代价，大致可以把Ff理解成正向文本的困惑度而Fb这是反向文本的困惑度，ERR的计算公式在论文中也有详细介绍。这是我个人的理解，不一定完全正确，希望能帮到你

Dr-Corgi commented 7 years ago

嗯嗯，谢谢，很大程度上解决了我的疑惑。非常感谢！