当提问生成较多字数内容（比如2000字）时，生成就会卡死。

sugarforever / chat-ollama

ChatOllama is an open source chatbot based on LLMs. It supports a wide range of language models, and knowledge base management.

MIT License

2.61k stars 410 forks source link

当提问生成较多字数内容（比如2000字）时，生成就会卡死。 #255

Open Aiqi-Mao opened 6 months ago

Aiqi-Mao commented 6 months ago

我是使用windows WSL 安装的Ubuntu 22.04，然后使用docker方式在其中部署的chatollama，安装以及运行一切正常，但是当在chat中生成规定较多字数（比如2000字）输出时总是会卡死，无一例外。然后查看web 应用日志，发现如下报错：

屏幕截图 2024-04-12 085710

大家有没有遇到类似问题，问题根源在哪里，怎么解决？

COMPUTER918 commented 6 months ago

我之前没有这个问题，后来出现的，但我生成的字数也没有很大，也会出现，但是chatollama容器的日志中没有报错，我尝试调整Attached Messages Count为0后有的时候能解决有的时候还是卡死。

sugarforever commented 6 months ago

这个问题之前也有用户反馈。不确定是不是Ollama的接口的问题。还需调查。

sugarforever commented 6 months ago

我是使用windows WSL 安装的Ubuntu 22.04，然后使用docker方式在其中部署的chatollama，安装以及运行一切正常，但是当在chat中生成规定较多字数（比如2000字）输出时总是会卡死，无一例外。然后查看web 应用日志，发现如下报错：

大家有没有遇到类似问题，问题根源在哪里，怎么解决？

你在这个操作中用的什么模型？

COMPUTER918 commented 6 months ago

我是使用windows WSL 安装的Ubuntu 22.04，然后使用docker方式在其中部署的chatollama，安装以及运行一切正常，但是当在chat中生成规定较多字数（比如2000字）输出时总是会卡死，无一例外。然后查看web 应用日志，发现如下报错：大家有没有遇到类似问题，问题根源在哪里，怎么解决？

你在这个操作中用的什么模型？

我看ollama的0.1.23版本中的What's Changed里好像有相关项的fix 6e5aaa7d579103ecf058ca32b406892

Aiqi-Mao commented 6 months ago

我是使用windows WSL 安装的Ubuntu 22.04，然后使用docker方式在其中部署的chatollama，安装以及运行一切正常，但是当在chat中生成规定较多字数（比如2000字）输出时总是会卡死，无一例外。然后查看web 应用日志，发现如下报错：大家有没有遇到类似问题，问题根源在哪里，怎么解决？

你在这个操作中用的什么模型？

我是基于ollama模型库操作的，qwen:34b和gemma都试了，都出现这个问题了。

Aiqi-Mao commented 6 months ago

我是使用windows WSL 安装的Ubuntu 22.04，然后使用docker方式在其中部署的chatollama，安装以及运行一切正常，但是当在chat中生成规定较多字数（比如2000字）输出时总是会卡死，无一例外。然后查看web 应用日志，发现如下报错：大家有没有遇到类似问题，问题根源在哪里，怎么解决？

你在这个操作中用的什么模型？

我看ollama的0.1.23版本中的What's Changed里好像有相关项的fix

我按照的ollama的版本是0.1.30