使用mindnlp套件本地快速拉起推理失败，麻烦协助

mindspore-lab / mindnlp

Easy-to-use and high-performance NLP and LLM framework based on MindSpore, compatible with models and datasets of 🤗Huggingface.

https://mindnlp.cqu.ai/

Apache License 2.0

675 stars 172 forks source link

使用mindnlp套件本地快速拉起推理失败，麻烦协助 #1018

Closed maninmancod closed 5 months ago

maninmancod commented 5 months ago

我使用的是910b双卡，mindspore=2.2.0，python=3.9.0，我的启动代码如下： a831a17d_13741193 我使用的模型是Qwen1.5-32B-Chat-Int4，从hf获取的safetensors版本，具体结构如下所示： c4c5d799_13741193 使用我的启动代码运行后，系统提示“TypeError: init() got an unexpected keyword argument 'torch_dtype'”，具体实现过程如下所示： 730b44a4_13741193 劳烦协助排查下这个错误该如何修正？谢谢。

lvyufeng commented 5 months ago

torch_dtype → ms_dtype

maninmancod commented 5 months ago

torch_dtype → ms_dtype

修改了这个参数后，直接运行启动脚本，报错：怀疑是这两个参数的问题，是否有其他的命名方式？注掉这两个参数后，仍然报错，这个该如何处理？