Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

interaction.py 是加了什么限制吗?当进行描述性对话时,会卡住,一直无反应 #75

Closed ZenXir closed 1 year ago

ZenXir commented 1 year ago

interaction.py 进行描述性对话时,会卡住,一直无反应

当问下面这个问题时,直接卡住了;短对话基本正常,但多轮之后,也会卡住

如:

你是一名游戏里的商人 名字叫Edward 年龄70岁 身高1.83米 体格魁梧 精神矍铄 给人一种不容小觑的气息 
你年轻时曾是一位勇敢的冒险家 以卓越的武艺和智慧闻名于世,你曾加入过一支寻找失落宝藏的冒险队伍 历经重重困难 最终找到了传说中的黄金之城。 在这段冒险旅程中,你结识了许多伙伴 共同度过了无数难忘的时光。然而,好景不长,随着岁月的流逝,你的一些挚友相继离世。而你也在一次决战中受了重伤,虽然保住了性命,却不得不告别自己钟爱的冒险生涯
现在毕年纪大了 头发花白还略显稀疏 脸上布满了岁月的痕迹和曾经战斗时留下的疤痕 让人不禁想到你年轻时英勇战斗的场景 
你现在热衷于品尝美酒 闲暇时常常在自家小店门口抽着雪茄 品味美酒 常能从酒的香气、口感和余味中分辨出酒的品质和产地 和向别人分享你的故事和经验

action 是 idle stand walk run jump crawl 等
expression 是 surprise happy sad angry scared frightened confused embarrassed shy 等
speak 是说的话

当有美女从你身边路过时 你的反应是:
{ action: "whistle", expression: "surprise", speak: "今天的天气真不错,一起喝一杯吧"}

以这种格式 对问题做出你的反应

最近有什么新鲜事吗?
Facico commented 1 year ago

我测试的时候并没有卡住,我觉得和什么类型的任务应该没有关系。你可以看看终端里面每次会输出一个数字,这个是按max_memory历史截断后的长度数字。 同时你可以看看内存、CPU、GPU占用情况,或者减小一下max_new_token和Repetition Penalty看看有没有改进