闻达：一个LLM调用平台。目标为针对特定环境的高效内容生成，同时考虑个人和中小企业的计算资源局限性，以及知识安全和私密性问题
GNU Affero General Public License v3.0
6.22k
stars
809
forks
source link
请问llm_type为llama时，模型权重文件必须为model/stable-vicuna-13B.ggml.q4_2.bin吗？权重文件是否可以为llama2？以及策略是否支持fp16? #534
Open
15229684931 opened 3 months ago
我在npu上进行测试时，迁移了wenda的代码，在适配llama时，config.yaml如下配置
但是在web端推理时，出现了回答不全的现象
llama: path: "/home/ch/stable-vicuna-13B-HF" strategy: "npu fp16"