闻达:一个LLM调用平台。目标为针对特定环境的高效内容生成,同时考虑个人和中小企业的计算资源局限性,以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.22k
stars
809
forks
source link
请问llm_type为llama时,模型权重文件必须为model/stable-vicuna-13B.ggml.q4_2.bin吗?权重文件是否可以为llama2?以及策略是否支持fp16? #534
Open
15229684931 opened 3 months ago
我在npu上进行测试时,迁移了wenda的代码,在适配llama时,config.yaml如下配置
但是在web端推理时,出现了回答不全的现象
![231](https://github.com/wenda-LLM/wenda/assets/168498907/dca93300-1754-4bcc-bd17-ce2fdb81e422)
llama: path: "/home/ch/stable-vicuna-13B-HF" strategy: "npu fp16"