search

Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

generate_quant.py 脚本运行失败 #46

Closed greatewei closed 1 year ago

greatewei commented 1 year ago

我想要运行一个量化模型，出现错误：ModuleNotFoundError: No module named 'gptq'

generate_quant.py 不能正常运行，是不是少了某些文件？

Facico commented 1 year ago

@greatewei 可以参考我们的tool readme，里面介绍了如何使用gptq量化运行

greatewei commented 1 year ago

@greatewei 可以参考我们的tool readme，里面介绍了如何使用gptq量化运行

嗯，我成功训练了量化模型，但是在第三步执行 generate_quant.py文件发生了错误，缺少了gptq模块

Facico commented 1 year ago

我们在tool readme中Quantize LLaMA第二行，第二句话“运行下面的代码前，你需要用 pip install gptq>=0.0.2 命令来安装 gptq。”讲了如何安装gptq

greatewei commented 1 year ago

我们在tool readme中Quantize LLaMA第二行，第二句话“运行下面的代码前，你需要用 pip install gptq>=0.0.2 命令来安装 gptq。”讲了如何安装gptq

看到了，感谢！

greatewei commented 1 year ago

@Facico 你好，我遇到了一个问题，generate_quant.py脚本执行量化脚本后，效果很差，如图： image 我的量化过程如下：

  1. 13b-lora 与 llama13b进行合并生成一个新的模型 chinese-v-13b-hf， 这个模型测试过，能够正常的交流。
  2. 执行命令 python tools/llama_quant.py /data/chat/models/chinese-v-13b-hf ptb --wbits 4 --groupsize 128 --save /data/chat/models/chinese-v-13b-hf/pyllama-4b.pt 进行了模型量化，最终输出了 pyllama-4b.pt文件
  3. 执行命令python tools/generate_quant.py --model_path "/data/chat/models/chinese-v-13b-hf" --quant_path "/data/chat/models/chinese-v-13b-hf/pyllama-4b.pt" --wbits 4

是不是哪个环节出了错误