Open skysing opened 1 year ago
1.运行run.sh，生成moss-moon-003-sft-int4下面的文件，包含：
2.运行zero_to_fp32.py 生成新文件到output_file路径下面（新模型）
3.加载新模型demo，正常。
4.对话输出，任何问题的答案都变成了感叹号，： “!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!”
这是什么原因，有哪位大佬帮助解决一下，谢谢。
1.运行run.sh，生成moss-moon-003-sft-int4下面的文件，包含：
2.运行zero_to_fp32.py 生成新文件到output_file路径下面（新模型）
3.加载新模型demo，正常。
4.对话输出，任何问题的答案都变成了感叹号，： “!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!”
这是什么原因，有哪位大佬帮助解决一下，谢谢。