如何搭配 text-generation-webui 运行？

[zms351]

https://github.com/oobabooga/text-generation-webui

我用的int4版本 加载模型时，提示 OSError: models/ChatLLaMA-zh-7B-int4 does not appear to have a file named config.json

需要一个config.json ?

[chunkchen]

https://github.com/oobabooga/text-generation-webui/issues/788#issuecomment-1496918979 我跟着这个改了名称，以ggml开头，启动成功了。后面的还在研究

[xpeng]

oobabooga/text-generation-webui#788 (comment) 我跟着这个改了名称，以ggml开头，启动成功了。后面的还在研究

我用的ChatLLaMA-zh-7B，你的意思是直接把文件chatllama_7b.bin改名为gglm-chatllama_7b.bin吗？

好像还是不行，还是提示缺乏config.json。

[chunkchen]

把模型（包含文件夹）cp 到 text-generation-webui/model/

启动命令： cd text-generation-webui python server.py --model llamacpp-7b --threads 4 --chat --listen --no-stream