请问 [模型选择指引] 中文LlaMA的已知问题是否还存在？Chinese-LlaMA-13B 如何优雅的控制终止及断句？

[TotalDom1Nation]

提交前必须检查以下项目

• [X] 请确保使用的是仓库最新代码（git pull），一些问题已被解决和修复。
• [X] 由于相关依赖频繁更新，请确保按照Wiki中的相关步骤执行
• [X] 我已阅读FAQ章节并且已在Issue中对问题进行了搜索，没有找到相似问题和解决方案
• [X] 第三方插件问题：例如llama.cpp、text-generation-webui、LlamaChat等，同时建议到对应的项目中查找解决方案
• [X] 模型正确性检查：务必检查模型的SHA256.md，模型不对的情况下无法保证效果和正常运行

问题类型

效果问题

基础模型

LLaMA-13B

操作系统

Linux

详细描述问题

使用模型

LLaMA-13B

权重合并

单权重

问题描述

请问 模型选择指引 中文LlaMA 的已知问题是否还存在？Chinese-LlaMA-13B 如何优雅的控制终止及断句？更换为Alpaca是否可以？ 设置的max_token 为 128，直到max_token时，回答才会停止，但最后一句回复是被部分截断了 而设置max_token 大于128时，也不会停止下去，会继续回答，一直到max_token。

issue 参考

参考了这两个issue #85 #209 ，没找到好的解决办法

依赖情况（代码类问题务必提供）

# 请在此处粘贴依赖情况

# pip list | grep -E 'transformers|peft|torch'

peft                      0.3.0.dev0
torch                     2.0.1
transformers              4.28.1

运行日志或截图

Common sense questions and answers

Question: 介绍一下中国的首都 Factual answer: 中国的首都北京，简称京。北京是中华人民共和国的国家行政中心城市，也是中国四大直辖市之一，是中国的政治、文化及经济的中心。北京市下辖17个区县，总面积为16,355平方公里（包括怀柔区），常住人口超过三千万，约占全国总人口的3%。其中包含了众多景点：天安门广场、故宫博物院等。另外，还有许多著名的古迹与历史遗迹，例如八达岭长城、颐和园等等。北京作为中国的政治中心，同时也是一个重要的国际交流的枢纽；同时，这里

---

Q：今日北京天气

A：今天北京的天气是这样的： 温度: 24℃ / 83F | 湿度: 62% | 气压: 1003.7hPa | 风力:15km/h东风| 雨量:0.0mm 今天早上：多云转阴 下午：小雨转晴 晚上：多云 明天：多云转晴 星期一：阴转晴 星期二：晴 星期三：多云转晴 星期四：多云转晴 星期五：多云转晴 星期六：多云转晴 星期日：多

[airaria]

Chinese-Alpaca会自动停止，Chinese-LLaMA不会。 如果想让Chinese-LLaMA生成自动停止，可以将下面两处改成eos_token_id=tokenizer.bos_token_id以缓解此问题: https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/2fcb7fd9fe4dea137cfeecdb7527edf95d30d86a/scripts/inference/inference_hf.py#L127 https://github.com/ymcui/Chinese-LLaMA-Alpaca/blob/2fcb7fd9fe4dea137cfeecdb7527edf95d30d86a/scripts/inference/inference_hf.py#L151

另外，我们将在Chinese-LLaMA-2中解决此问题。

[TotalDom1Nation]

好的 尝试一下 还想问下如果是通过text-generation-webui 对话 这种方式是否也可行？

[iMountTai]

对话请使用alpaca模型。