流式输出结果和最终结果长度/内容相差较大

Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca

https://github.com/Facico/Chinese-Vicuna

Apache License 2.0

4.14k stars 421 forks source link

Closed Aiemu closed 1 year ago

Aiemu commented 1 year ago

在README的demo中流式输出结果（各个beam的输出）如下：

最终呈现的结果如下：

两者在长度和内容上都存在较大的差距，在本地使用时也存在这样的问题，请问应该如何解决、是否和参数有关呢？

Facico commented 1 year ago

将min_new_tokens调大一点，beam search生成的时候中间结果比较随机，可能在最后找到一个eos就把后面的断掉了