lora微调量化后，执行测试实例报错

[xiaohaiqing]

起始日期 | Start Date

3/8/2024

实现PR | Implementation PR

No response

相关Issues | Reference Issues

No response

摘要 | Summary

基本示例 | Basic Example

缺陷 | Drawbacks

lora微调后，进行合并、量化，然后根据readme中的步骤将相关文件复制到此目录下，然后运行测试实例的时候报此错误 在复制 py 文件的时候有几个文件已经存在了，不覆盖和覆盖都试过了，依然报错

未解决问题 | Unresolved questions

No response

[GuYith]

请问这个问题怎么解决的？

[xiaohaiqing]

请问这个问题怎么解决的？

不拷贝量化模型中的config.json就可以运行

[jklj077]

closed in favor of https://github.com/QwenLM/Qwen/issues/1132

[xiaohaiqing]

请问这个问题怎么解决的？ 可以参考下我的依赖版本，这个版本下config.json可以拷贝过来

accelerate                    0.27.2
aiofiles                      23.2.1
aiohttp                       3.9.3
aiosignal                     1.3.1
altair                        5.2.0
annotated-types               0.6.0
anyio                         4.3.0
attrs                         23.2.0
auto_gptq                     0.7.1
Brotli                        1.0.9
certifi                       2024.2.2
charset-normalizer            2.0.4
click                         8.1.7
coloredlogs                   15.0.1
contourpy                     1.2.0
cycler                        0.12.1
datasets                      2.18.0
deepspeed                     0.14.0
dill                          0.3.8
einops                        0.7.0
fastapi                       0.110.0
ffmpy                         0.3.2
filelock                      3.13.1
fonttools                     4.49.0
frozenlist                    1.4.1
fsspec                        2024.2.0
gekko                         1.0.7
gmpy2                         2.1.2
gradio                        3.41.2
gradio_client                 0.5.0
h11                           0.14.0
hjson                         3.1.0
httpcore                      1.0.4
httptools                     0.6.1
httpx                         0.27.0
huggingface-hub               0.21.4
humanfriendly                 10.0
idna                          3.4
importlib_resources           6.1.3
Jinja2                        3.1.3
jsonschema                    4.21.1
jsonschema-specifications     2023.12.1
kiwisolver                    1.4.5
latex2mathml                  3.77.0
Markdown                      3.5.2
MarkupSafe                    2.1.3
matplotlib                    3.8.3
mdtex2html                    1.3.0
mkl-fft                       1.3.8
mkl-random                    1.2.4
mkl-service                   2.4.0
mpi4py                        3.1.4
mpmath                        1.3.0
msgpack                       1.0.8
multidict                     6.0.5
multiprocess                  0.70.16
networkx                      3.1
ninja                         1.11.1.1
numpy                         1.26.4
optimum                       1.17.1
orjson                        3.9.15
packaging                     24.0
pandas                        2.2.1
peft                          0.7.1
pillow                        10.2.0
pip                           24.0
protobuf                      4.25.3
psutil                        5.9.8
py-cpuinfo                    9.0.0
pyarrow                       15.0.1
pyarrow-hotfix                0.6
pydantic                      2.6.3
pydantic_core                 2.16.3
pydub                         0.25.1
pynvml                        11.5.0
pyparsing                     3.1.2
PySocks                       1.7.1
python-dateutil               2.9.0.post0
python-dotenv                 1.0.1
python-multipart              0.0.9
pytz                          2024.1
PyYAML                        6.0.1
ray                           2.9.3
referencing                   0.33.0
regex                         2023.12.25
requests                      2.31.0
rouge                         1.0.1
rpds-py                       0.18.0
safetensors                   0.4.2
scipy                         1.12.0
semantic-version              2.10.0
sentencepiece                 0.2.0
setuptools                    68.2.2
six                           1.16.0
sniffio                       1.3.1
starlette                     0.36.3
sympy                         1.12
tiktoken                      0.6.0
tokenizers                    0.15.2
toolz                         0.12.1
torch                         2.2.0
torchaudio                    2.2.0
torchvision                   0.17.0
tqdm                          4.66.2
transformers                  4.37.2
transformers-stream-generator 0.0.4
triton                        2.2.0
typing_extensions             4.9.0
tzdata                        2024.1
urllib3                       2.1.0
uvicorn                       0.28.0
uvloop                        0.19.0
vllm                          0.2.2+cu124 /home/vllm-gptq
watchfiles                    0.21.0
websockets                    11.0.3
wheel                         0.41.2
xformers                      0.0.24
xxhash                        3.4.1
yarl                          1.9.4