Closed letdo1945 closed 4 days ago
一样的问题,用的ollama部署的
一样的问题,GGG
一樣的問題。
此问题于Ollama 0.2.3版本修复,随后0.2.5版本又出现了,并且问题更加严重
先更大哦0.2.3,感觉好像是llama cpp的问题,我们还在排查中
是ollama的问题,但我是版本3,有时候也有这个问题,但换个模型就好了
尝试开一下flash attention
尝试开一下flash attention
如何在ollama开启flash attention呢?直接添加一个环境变量吗?
ollama开启flash attention后没有GGGG了,但是推理速度很慢,纯CPU推理要2分多钟才出结果,开启flash attention之前秒级出结果。。。
flash attn是给GPU加速的吧,cpu是慢
System Info / 系統信息
Ollama 2.1.0 Windows preview RTX4090 D
Who can help? / 谁可以帮助到您?
No response
Information / 问题信息
Reproduction / 复现过程
代码内容
因保密协定,Prompt中提到的法律文书信息不能提供,正文内容参考一般法律裁判文书即可。
模型输出(此问题在本机可以稳定复现)