Closed 948024326 closed 8 months ago
不太清楚你的这个web界面是怎么搭建的,似乎不是llama.cpp自带的那个。所以是否是向server发送了多轮请求就不清楚了。建议去llama.cpp那边提问。
不太清楚你的这个web界面是怎么搭建的,似乎不是llama.cpp自带的那个。所以是否是向server发送了多轮请求就不清楚了。建议去llama.cpp那边提问。
这里是使用.server的命令:!./server -m MODEL/Mistral-7B-Instruct/ggml-model-f16.gguf -c 1500 -ngl 40起了一个服务API,然后通过curl post的形式发送请求, 确实 ./main的效果比、server的效果好, 还有一定的上下文理解记忆能力
This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your consideration.
Closing the issue, since no updates observed. Feel free to re-open if you need any further assistance.
提交前必须检查以下项目
问题类型
模型推理
基础模型
LLaMA-7B
操作系统
Linux
详细描述问题
对同一个模型进行操作时:
.main的命令:./main -m MODEL/Mistral-7B-Instruct/ggml-model-f16.gguf --color -ins -c 2048 --temp 0.2 -n 256 --repeat_penalty 1.1 -ngl 40
.server的命令:!./server -m MODEL/Mistral-7B-Instruct/ggml-model-f16.gguf -c 1500 -ngl 40
依赖情况(代码类问题务必提供)
None
运行日志或截图
这是.main命令运行的结果: 第二个问题是根据第一个问题生成的,所以有上下文关系![image](https://github.com/ymcui/Chinese-LLaMA-Alpaca/assets/59902823/73423372-056e-47c7-803f-5aa3ea778c65)
这是.server命令运行的结果: 可以看的两个问题几乎没有关联性,所以上下文关系几乎是没有的
![企业微信截图_16988349228595](https://github.com/ymcui/Chinese-LLaMA-Alpaca/assets/59902823/46ad4a0f-0a37-42e6-a542-a664067179a7)
请问是什么原因,或者有什么办法可以解决?