search

bytedance / decoupleQ

A quantization algorithm for LLM
Apache License 2.0
94 stars 5 forks source link

量化后nan问题 #3

Open huyiming2018 opened 3 months ago

huyiming2018 commented 3 months ago

您好，非常好的工作。尝试复现论文中的指标，我的模型是llama2-7b，使用run_llama.sh脚本量化后，模型输出包含大量nan，数据集为c4，类似情况如何解决呢。谢谢！

GuoYi0 commented 3 months ago

@huyiming2018 是直接运行的 run_llama.sh那个脚本吗？

chuangzhidan commented 3 months ago

您好，非常好的工作。尝试复现论文中的指标，我的模型是llama2-7b，使用run_llama.sh脚本量化后，模型输出包含大量nan，数据集为c4，类似情况如何解决呢。谢谢！

好奇想问下，你是在跑脚本做eval的时候发现的，还是你对已有的量化模型做了加载和推理后发现的？

huyiming2018 commented 3 months ago

run_llama.sh

是的，group_size改成128或64就可以了，默认是per-channel量化

chuangzhidan commented 3 months ago

group_size改成128或64就可以了，默认是per-channel量化

很想知道怎么推理：）