问什么我通过llama.cpp量化的模型LLM插件加载不了

[w87180907]

MediaPipe4U 版本

20231010

UnrealEngine 版本

5.1.x

平台

Windows

UnrealEngine 类型

Launcher

问题类型

运行错误

错误详细描述

https://github.com/ymcui/Chinese-LLaMA-Alpaca-2我通过改项目量化模型Chinese-Alpaca-2-7B，规格是q6_k,进UE显示模型加载失败，请问作者你用的模型量化前的源码在哪里，可以发一下吗。

[w87180907]

输出日志内容如下 LogMediaPipeLLM: Error: [LLM API] error loading model: unknown (magic, version) combination: 46554747, 00000003; is this really a GGML file? LogMediaPipeLLM: Error: [LLM API] llama_load_model_from_file: failed to load model LogMediaPipeLLM: Error: [LLM API] unable to load model: D:/shinei/shinei/Plugins/MediaPipe4ULLM/Source/ThirdParty/LLMAPI/Data/models/ggml-model-q6_K.bin

[endink]

我想可能是 llama.cpp 兼容性问题，可能要求你量化用的版本和我用的需要完全一致

[w87180907]

老哥你的这个插件什么时候能更新一下，我用的是最新版的llama.cpp量化的，旧版本找不到了

[endink]

抽空会更新的，最新的文件格式是GGUF，我这个还是 ggml, 所以估计你用最新代码量化会出现问题

[endink]

既然你会自己编译 llama.cpp, 你为什么不自己写 UE 插件，对你来说应该很简单的吧

[w87180907]

我是个小白啊，大佬。研究明白后公司会购买你的插件的，还希望你多多帮助。

[endink]

现在BUG有点多，暂时可能不会更新 LLM 部分，实在抱歉

[github-actions[bot]]

This issue is stale because it has been open for 15 days with no activity.

[github-actions[bot]]

This issue was closed because it has been inactive for 14 days since being marked as stale.