search

THUDM / CodeGeeX4

CodeGeeX4-ALL-9B, a versatile model for all AI software development scenarios, including code completion, code interpreter, web search, function calling, repository-level Q&A and much more.
https://codegeex.cn
Apache License 2.0
1.5k stars 117 forks source link

ollama启动codegeex，在未正常处理流式返回后模型总是会输出GGGGGGG............. #45

Open tian0zhi opened 4 months ago

tian0zhi commented 4 months ago

我尝试将ollama启动codegeex作为后端，通过访问ollama api方式获得结果，使用了yield 将流式返回结果作为迭代器处理，在我调试中在迭代的第一次直接退出了程序，再次访问接口时（无论是流式还是非流式）模型生成结果总是不全且生成结果末尾包含GGGGGGGGG.......，"done"字段总是false，但是重启该模型后输出结果正常。

这是不正常的输出 Snipaste_2024-07-25_16-27-39 结束该服务 Snipaste_2024-07-25_16-29-02 重新访问正常 Snipaste_2024-07-25_16-30-26 我不确定这是ollama的问题还是codegeex的问题。感觉似乎是流式返回仍在处理导致了这个BUG。^_^'

Stanislas0 commented 3 months ago

请问使用的是哪个版本的ollama，模型权重是用哪个精度的呢？

tian0zhi commented 3 months ago

请问使用的是哪个版本的ollama，模型权重是用哪个精度的呢？

ollama version is 0.2.0 codegeex4 9b latest版本

TracyMcgrady256 commented 3 months ago

这个问题解决了吗，也碰到同样的问题