Closed greatewei closed 1 year ago
@greatewei 可以参考我们的tool readme,里面介绍了如何使用gptq量化运行
@greatewei 可以参考我们的tool readme,里面介绍了如何使用gptq量化运行
嗯,我成功训练了量化模型,但是在第三步执行 generate_quant.py文件发生了错误,缺少了gptq模块
我们在tool readme中Quantize LLaMA第二行,第二句话“运行下面的代码前,你需要用 pip install gptq>=0.0.2 命令来安装 gptq。”讲了如何安装gptq
我们在tool readme中Quantize LLaMA第二行,第二句话“运行下面的代码前,你需要用 pip install gptq>=0.0.2 命令来安装 gptq。”讲了如何安装gptq
看到了,感谢!
@Facico 你好,我遇到了一个问题,generate_quant.py脚本执行量化脚本后,效果很差,如图: 我的量化过程如下:
python tools/llama_quant.py /data/chat/models/chinese-v-13b-hf ptb --wbits 4 --groupsize 128 --save /data/chat/models/chinese-v-13b-hf/pyllama-4b.pt
进行了模型量化,最终输出了 pyllama-4b.pt文件python tools/generate_quant.py --model_path "/data/chat/models/chinese-v-13b-hf" --quant_path "/data/chat/models/chinese-v-13b-hf/pyllama-4b.pt" --wbits 4
是不是哪个环节出了错误
我想要运行一个量化模型,出现错误:ModuleNotFoundError: No module named 'gptq'
generate_quant.py 不能正常运行,是不是少了某些文件?