search

TsinghuaAI / CPM-1-Generate

Chinese Pre-Trained Language Models (CPM-LM) Version-I
MIT License
1.59k stars 211 forks source link

如何生成更长的文本内容 #37

Open zhenhao-huang opened 3 years ago

zhenhao-huang commented 3 years ago

尝试生成更长的文本，修改了generate_text.sh脚本中的一些参数，但是没达到预期效果，请问怎么生成更长的文本？

achriush commented 3 years ago

猜测训练时未有过更长的训练数据，所以理论上不支持更长文本的生成（主要因为pos embed的问题），如果一定要生成更长的文本，可以尝试修改下生成的代码，采用滑动窗口的方式进行生成。

zhenhao-huang commented 3 years ago

实现了一个无限生成，但是只能在最初的生成代码版本使用，因为在新的生成代码中添加了past_key_values（相应的修改了past_key_values部分），后续生成的文本完全不通顺。不太理解past_key_values是怎么起到作用的。@zzy14