search

unit-mesh / auto-dev

🧙‍AutoDev: The AI-powered coding wizard（AI 驱动编程助手） with multilingual support 🌐, auto code generation 🏗️, and a helpful bug-slaying assistant 🐞! Customizable prompts 🎨 and a magic Auto Dev/Testing/Document/Agent feature 🧪 included! 🚀
https://ide.unitmesh.cc/
Mozilla Public License 2.0
2.76k stars 317 forks source link

Llama.cpp 上运行问题 #166

Closed 32ns closed 4 months ago

32ns commented 5 months ago

Describe the bug 我不知道在idea上是不是运行良好,但是在goland和clion上基本无法正常使用,我自己本地的模型,试了好多都是输出正常,但是无法结束,结尾会无限输出,问一个问题要重启一下IDE,1.8.3中添加的停止按钮也不能停止它,点击停止后界面是停了,但是GPU还在算,不过调用API好像没这问题,我没怎么试. 还有就是输出如果太长的话滚动条会定死在一个点,往下滑或者往上滑都会自动滚回原来的点;不等他输出完你就看不到下边的内容,但是它又不会停止,只能停掉server才能看到全部,然后再启动它; 我的server用的是llama.cpp

phodal commented 5 months ago

看上去像是你的模型 server 有问题，估计需要你的对应实现是否是标准 SSE 。

32ns commented 5 months ago

一进对java很排斥,也帮不上忙,只能接着等了

phodal commented 5 months ago

你说的问题，别人都没遇到过……。可能你需要提供更详细的信息，比如操作系统版本，IDE 版本等等。

32ns commented 5 months ago

该搞个群,能上传上视频,一看就清楚了,有问题也好反馈

phodal commented 4 months ago

参考：https://github.com/unit-mesh/auto-dev-vscode

32ns commented 4 months ago

是模型的问题,估计是llama.cpp没有适配结束符,不搞了,换成qwen就好了