Open MianWang123 opened 2 years ago
论文里列出了很多标准，包括 rhyme, tpl 等相关 loss，但是代码中真正做 backpropagation 的好像只有 nll/ppl。 我想请问下预训练的过程中，这些 格式、韵律 相关的 Loss 有做计算和backpropagation吗？
另外，论文中提到 Beam Search 方法生成，代码中只有在 test.py 里出现过，我想请问下是尝试过 TopK 生成效果优于 BeamSearch 吗？为什么在做 polish 的时候不选择 BeamSearch ?
论文里列出了很多标准，包括 rhyme, tpl 等相关 loss，但是代码中真正做 backpropagation 的好像只有 nll/ppl。 我想请问下预训练的过程中，这些 格式、韵律 相关的 Loss 有做计算和backpropagation吗？
另外，论文中提到 Beam Search 方法生成，代码中只有在 test.py 里出现过，我想请问下是尝试过 TopK 生成效果优于 BeamSearch 吗？为什么在做 polish 的时候不选择 BeamSearch ?