search

LlamaEdge / LlamaEdge

The easiest & fastest way to run customized and fine-tuned LLMs locally or on the edge
https://llamaedge.com/
Apache License 2.0
1.09k stars 91 forks source link

bug: llama-api-server 不使用新的提示词 #25

Closed gaord closed 10 months ago

gaord commented 11 months ago

Summary

多次客户端访问使用不同提示词，结果却是一样的。参考如下输出：

% curl -X POST http://0.0.0.0:8080/v1/chat/completions \ -H 'accept:application/json' \ -H 'Content-Type: application/json' \ -d '{"messages":[{"role":"system", "content":"You are a helpful AI assistant"}, {"role":"user", "content":"请计划一个南京3天的旅行"}], "model":"default"}' {"id":"0c2c39ee-aaed-4380-9422-23daa90bfa99","object":"chat.completion","created":1702474374,"model":"default","choices":[{"index":0,"message":{"role":"assistant","content":"当然可以为您规划一个南京3天的旅行。以下是一个基本的旅行计划建议：\n\n第1天：历史文化之旅\n- 早上：参观中山陵，了解孙中山先生的生平和历史贡献。\n- 中午：在中山陵附近的餐厅享用午餐，品尝当地美食。\n- 下午：游览南京博物院，欣赏丰富的历史文物和艺术品。\n- 晚上：前往秦淮河夫子庙区域，体验夜游秦淮河，品尝夫子庙的小吃。\n\n第2天：自然与现代结合\n- 早上：前往紫金山天文台，了解天文知识，欣赏南京的自然风光。\n- 中午：在紫金山附近的餐厅用餐，享受山林间的宁静。\n- 下午：参观侵华日军南京大屠杀遇难同胞纪念馆，铭记历史。\n- 晚上：前往南京的新街口商业区，体验现代都市的繁华。\n\n第3天：古迹与休闲\n- 早上：参观明孝陵，感受明朝的皇家陵墓文化。\n- 中午：在明孝陵附近的餐厅享用午餐。\n- 下午：游览南京古城墙，如中华门城堡，体验古代防御工事。\n- 晚上：前往南京的鼓楼区，逛逛特色小店，享受悠闲的时光。\n\n请根据您的兴趣和实际情况调整行程。南京还有很多其他的景点和活动，如总统府、南京大学等，您可以根据自己的喜好添加或删减。祝您旅途愉快！"},"finish_reason":"stop"}],"usage":{"prompt_tokens":10,"completion_tokens":29,"total_tokens":39}}% (base)

% curl -X POST http://0.0.0.0:8080/v1/chat/completions \ -H 'accept:application/json' \ -H 'Content-Type: application/json' \ -d '{"messages":[{"role":"system", "content":"You are a helpful AI assistant"}, {"role":"user", "content":"请计划一个天津3天的旅行"}], "model":"default"}' {"id":"d280487c-279c-44c4-9826-702043e4639b","object":"chat.completion","created":1702474434,"model":"default","choices":[{"index":0,"message":{"role":"assistant","content":"当然可以为您计划一个3天的旅行。请告诉我您的旅行计划建议：\n\n第1天：历史文化之旅\n- 早上：参观南京博物院，了解中国近代历史和文化遗产。\n- 中午：在中山陵附近的餐厅享用午餐，品尝当地特色美食。\n- 下午：游览明孝陵和紫金山天文台，感受明朝的文化遗产。\n- 可以在夫人的夫子庙区域，体验传统的江南水乡风情，品尝小吃。\n\n第2天：自然与现代结合\n- 早上：前往紫金山天文台，参观天文望远镜，感受自然之美。\n- 中午：在紫金山附近的餐厅用餐，享受山林间的宁静氛围。\n- 下午：参观南京大屠杀遇难者纪念馆，铭记历史，缅怀先烈。\n- 晚上：前往南京的新街口区，体验现代都市的繁华，品尝各种美食。\n\n第3天：休闲与购物**\n- 早上：参观南京古城墙，感受明朝的皇家建筑风格。\n- 中午：在明孝陵附近的餐厅用餐，享受一个轻松的午餐。\n- 前往南京的某个段，如门或玄武门，感受历史。\n- 晚上：在南京的夫子庙区域，体验当地的夜市，购买纪念品。\n\n请根据您的兴趣和实际情况调整行程，祝您在旅行景点和活动，如南京大学、灵谷寺等，您可以根据自己的喜好添加或删减。"},"finish_reason":"stop"}],"usage":{"prompt_tokens":10,"completion_tokens":29,"total_tokens":39}}%

Reproduction steps

发出两次请求，含有不同的提示词。 观察输出结果是第一次提示词的。

Screenshots

DESCRIPTION

Any logs you want to share for showing the specific issue

No response

Model Information

yi-34b-chat

Operating system information

Mac

ARCH

arm64

CPU Information

m2

Memory Size

192G

GPU Information

m2

VRAM Size

192

apepkuss commented 11 months ago

@gaord Thanks for your report. According to the info you provided, I assume that you run Yi-34B which is a base model. Could you please try Yi-34B-Chat again? You can download the gguf model at https://huggingface.co/second-state/Yi-34B-Chat-GGUF/resolve/main/Yi-34B-Chat-ggml-model-q4_0.gguf. If any further issues, let me know. Thanks!

gaord commented 11 months ago

using yi-34b-chat.Q5_K_M.gguf actually. @apepkuss

apepkuss commented 11 months ago

@gaord 我们复现了你提到的问题。我们近期会发布插件更新，这个问题的修复已经涵盖在内，请稍候！感谢！

gaord commented 11 months ago

期待！ server能否支持流输出？未来有计划实现吗？

apepkuss commented 11 months ago

期待！ server能否支持流输出？未来有计划实现吗？

我们正在推进streaming feature，很快就会到来！

apepkuss commented 10 months ago

@gaord 我们近期对wasi-nn_ggml plugin 和 llama-api-server.wasm 进行了更新。升级到最新 plugin和llama-api-server.wasm 后，issue中提到的问题已经解决，参见下图。请更新您的本地环境后，确认一下问题是否依然存在。

image

为便于您更新，可参考以下信息：