search

OpenBMB / MiniCPM

MiniCPM-2B: An end-side LLM outperforming Llama2-13B.
Apache License 2.0
4.38k stars 313 forks source link

[Bad Case]: ollama部署效果比较差 #139

Closed ljch2018 closed 1 hour ago

ljch2018 commented 1 month ago

Description / 描述

infoflow 2024-05-24 11-31-39

Case Explaination / 案例解释

No response

ljch2018 commented 1 month ago

没有一个是对的啊。

ljch2018 commented 1 month ago
image
LDLINGLINGLING commented 1 week ago

确认了一下，这个问题确实存在，主要原因可能在于生成参数的问题： TEMPLATE <用户>{{ .Prompt }} PARAMETER temperature 0.3 PARAMETER top_p 0.8 PARAMETER frequency_penalty 0 PARAMETER num_ctx 8192 PARAMETER num_predict 20 PARAMETER presence_penalty 0 PARAMETER repeat_penalty 1 PARAMETER seed 42 以上参数重num_predict 20，导致以上生成总被截断。 https://github.com/LDLINGLINGLING/MiniCPM/tree/ollama_manual_installation 以上地址的readme中有我手动部署ollama的教程，你可以尝试一下。