Open skysing opened 1 year ago
1.运行run.sh,生成moss-moon-003-sft-int4下面的文件,包含:
2.运行zero_to_fp32.py 生成新文件到output_file路径下面(新模型)
3.加载新模型demo,正常。
4.对话输出,任何问题的答案都变成了感叹号,: “!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!”
这是什么原因,有哪位大佬帮助解决一下,谢谢。
1.运行run.sh,生成moss-moon-003-sft-int4下面的文件,包含:
2.运行zero_to_fp32.py 生成新文件到output_file路径下面(新模型)
3.加载新模型demo,正常。
4.对话输出,任何问题的答案都变成了感叹号,: “!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!”
这是什么原因,有哪位大佬帮助解决一下,谢谢。