Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

流式输出结果和最终结果长度/内容相差较大 #130

Closed Aiemu closed 1 year ago

Aiemu commented 1 year ago

在README的demo中流式输出结果(各个beam的输出)如下:

最终呈现的结果如下:

两者在长度和内容上都存在较大的差距,在本地使用时也存在这样的问题,请问应该如何解决、是否和参数有关呢?

Facico commented 1 year ago

将min_new_tokens调大一点,beam search生成的时候中间结果比较随机,可能在最后找到一个eos就把后面的断掉了