Open wangtianqi1993 opened 1 week ago
对模型名会补加后缀? 在 openai_complete_if_cache 函数中传入Qwen2.5-14B-Instruct-GPTQ-Int4 作为模型名,推理使用时就报错 “Model not found, uid: Qwen2.5-14B-Instruct-GPTQ-Int4-1-0” ,看着是多加了-1-0 后缀
对模型名会补加后缀? 在 openai_complete_if_cache 函数中传入Qwen2.5-14B-Instruct-GPTQ-Int4 作为模型名,推理使用时就报错 “Model not found, uid: Qwen2.5-14B-Instruct-GPTQ-Int4-1-0” ,看着是多加了-1-0 后缀