Closed alisyzhu closed 1 year ago
完成fine-tune后,按照readme里配置好脚本参数后,执行predict报错,烦请帮忙看看是哪里配置没有修改吗? 1、sh generate.sh
debug后发现,在GPU加载完LLAMA模型后,执行
后model=None了。。 2、sh interaction.sh
大概知道是什么问题了 ~
抱歉这么晚回复,这个问题是peft版本的问题,可以参考这个issue
完成fine-tune后,按照readme里配置好脚本参数后,执行predict报错,烦请帮忙看看是哪里配置没有修改吗? 1、sh generate.sh
debug后发现,在GPU加载完LLAMA模型后,执行
后model=None了。。 2、sh interaction.sh