Open Cherishyt opened 2 weeks ago
Exception: can't find blk.0.attn_kv_a_mqa.weight in GGUF file!\ 这边复现InternLM2.5-7B-Chat-1M这个模型，但是报上面这个错，blk.0.attn_kv_a_mqa应该是DeepSpeek模型的gguf文件才有的，可以帮忙看下吗？ 执行语句python -m ktransformers.local_chat --model_name LlamaForCausalLM --model_path ./InternLM2.5-7B-Chat-1M/internlm2_5-7b-chat-1m --gguf_path ./InternLM2.5-7B-Chat-1M-GGUF --optimize_config_path ./optimize/optimize_rules/Internlm2_5-7b-Chat-1m.yaml
Exception: can't find blk.0.attn_kv_a_mqa.weight in GGUF file!\ 这边复现InternLM2.5-7B-Chat-1M这个模型，但是报上面这个错，blk.0.attn_kv_a_mqa应该是DeepSpeek模型的gguf文件才有的，可以帮忙看下吗？ 执行语句python -m ktransformers.local_chat --model_name LlamaForCausalLM --model_path ./InternLM2.5-7B-Chat-1M/internlm2_5-7b-chat-1m --gguf_path ./InternLM2.5-7B-Chat-1M-GGUF --optimize_config_path ./optimize/optimize_rules/Internlm2_5-7b-Chat-1m.yaml