Error: json: cannot unmarshal array into Go struct field .model.merges of type string

[yuehua-s]

Reminder

• [X] I have read the README and searched the existing issues.

System Info

llamafactory 版本 0.9.1.dev0 linux 版本 CentOS 8.2 64位 Python 版本 3.11.9 ollama 版本 0.3.12

(llama_factory) [root@VM-2-15-centos data]# llamafactory-cli env

• llamafactory version: 0.9.1.dev0
• Platform: Linux-4.18.0-348.7.1.el8_5.x86_64-x86_64-with-glibc2.28
• Python version: 3.11.9
• PyTorch version: 2.4.1+cu121 (GPU)
• Transformers version: 4.45.0
• Datasets version: 2.21.0
• Accelerate version: 0.34.2
• PEFT version: 0.12.0
• TRL version: 0.9.6
• GPU type: Tesla V100-SXM2-32GB

Reproduction

我是按照 https://zhuanlan.zhihu.com/p/695287607 这个教程一步一步走下来的，在 webui 上操作，sft 完成 + export 合并导出模型 没有异常，使用 llamafactory-cli webui 加载我 export 合并导出后的模型问答也是 ok 的，但是使用 ollama 导入的时候，会报错： transferring model data 100% converting model Error: json: cannot unmarshal array into Go struct field .model.merges of type string

其中 Makefile 就一行内容 FROM /data/Llama3.1-8B-Chinese-Chat-xxx（微调后合并导出的模型路径）

Expected behavior

No response

Others

No response

[yuehua-s]

在微信 81 群遇到另一位老哥也遇到类似问题，他说旧版本 llama factory 曾经是可以的，但是我刚接触，没有尝试过历史版本，这里请大佬帮忙看下

[ShanLing-cool]

我也遇到了一样的问题，最新版的会报错，楼主解决了吗，使用的是什么版本的llama factory

[ShanLing-cool]

@yuehua-s 我直接将.gguf文件导入到ollama中，不采用导入模型文件夹的方式是可以的 例如：FROM /root/.gpt_train/gguf/Megred-Model-Path-8.0B-F16.gguf