Ollama运行GLM-4-9b后乱码

[lalahaohaizi]

System Info / 系統信息

技嘉4060Ti win11 Ollama 0.2.3

Who can help? / 谁可以帮助到您？

No response

Information / 问题信息

• [ ] The official example scripts / 官方的示例脚本
• [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

ollama run glm4:9b 抽取####文字后的服用保健品和服用补品的情况，并将结果输出为如下格式:[{"保健品服用情况":"","补品服用情况":""}]。无法抽取则输出为["抽取内容":"null"]。

同前。。父181母154。同前。

Expected behavior / 期待表现

输出完毕后停止，而没有不断输出乱码的字符

[lalahaohaizi]

跟modelfile的参数有关系吗

[caoyc]

win11 ollama 0.2.5

问题同上

[zRzRzRzRzRzRzR]

0.2.3似乎ok，0.2.5有这个bug，我们有同事在复现

[Iteachyou233]

ollama问题，升级至0.1.42试试

[liuchuan01]

ollama 0.2.7 ubuntu 22 3090 * 2 走api调用同样出现了这个问题

[zRzRzRzRzRzRzR]

得降到0.2.3

[liuchuan01]

得降到0.2.3

好，谢谢啦

[zRzRzRzRzRzRzR]

最新的我们还在看，好像还有提到fc的问题，不过fc的问题ollama回复说比较难解决

[781087595]

我用glm4是经常输出GGGGGGGGGGG

[lalahaohaizi]

升级到ollama3.0后可以停止，但会以GGGGG结束

[Jesean]

ollama版本0.2.8，返回GGGGGGGGGGGGGGGGGGGGGGGGGGGGGGG

[zRzRzRzRzRzRzR]

0.2.3之后好像都有，要用0.2.3

[wukaikailive]

这些问题都遇到过，基本上重启下又能用一段时间

[leizhu1989]

0.2.3之后好像都有，要用0.2.3

我拉取的0.2.3 版本ollama镜像，还是遇到这个问题啊

[lalahaohaizi]

请问这个问题有解决方案吗，0.2.3版本也是会输出G的，看ollama更新了几个版本没提到这个问题，求助

[buhiui]

请问现在有解决吗？

[zRzRzRzRzRzRzR]

如果是GPU ，先开启flash-attn

[leizhu1989]

如果是GPU ，先开启flash-attn

请问是在ollama镜像里开启吗

[lyh007]

C:\Users\80260\AppData\Local\Programs\Ollama>ollama start --help Start ollama

Usage: ollama serve [flags]

Aliases: serve, start

Flags: -h, --help help for serve

Environment Variables: OLLAMA_DEBUG Show additional debug information (e.g. OLLAMA_DEBUG=1) OLLAMA_HOST IP Address for the ollama server (default 127.0.0.1:11434) OLLAMA_KEEP_ALIVE The duration that models stay loaded in memory (default "5m") OLLAMA_MAX_LOADED_MODELS Maximum number of loaded models per GPU OLLAMA_MAX_QUEUE Maximum number of queued requests OLLAMA_MODELS The path to the models directory OLLAMA_NUM_PARALLEL Maximum number of parallel requests OLLAMA_NOPRUNE Do not prune model blobs on startup OLLAMA_ORIGINS A comma separated list of allowed origins OLLAMA_SCHED_SPREAD Always schedule model across all GPUs OLLAMA_TMPDIR Location for temporary files OLLAMA_FLASH_ATTENTION Enabled flash attention OLLAMA_LLM_LIBRARY Set LLM library to bypass autodetection @leizhu1989 ollama start 命令启动时加载环境变量，我也遇到了同样的问题，还没有在服务器上测试是否可行

[leizhu1989]

@lyh007 谢谢，好像可以解决问题了，目前测试正常