關於在 LM Studio 使用此模型…

MiuLab / Taiwan-LLM

Traditional Mandarin LLMs for Taiwan

https://twllm.com

Apache License 2.0

1.26k stars 104 forks source link

Open zhihmeng opened 10 months ago

zhihmeng commented 10 months ago

Hi,

請問一下在 LM Studio 裡面要怎麼設定才能讓這個模型的輸出效果跟示範網站 twllm.com 有一致的效果？

我目前是用 M3 Max 48G RAM 的機器在做部署…模型選用的是 audreyt/Taiwan-LLM-13B-v2.0-chat-GGUF 這個版本…

發現同樣的問題…給出的答案跟 twllm.com 的詳細程度差異很大…不曉得是不是設定上造成的差異…

再麻煩你解惑了…

謝謝…

adamlin120 commented 6 months ago

有可能是量化時 calibration data 的選用問題。之後的模型會盡量量化好一起釋出。