ymcui / Chinese-LLaMA-Alpaca-2

中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)
Apache License 2.0
7k stars 570 forks source link

llama.cpp部署出现格式错误 #519

Closed HelloEveryonehh closed 5 months ago

HelloEveryonehh commented 5 months ago

提交前必须检查以下项目

问题类型

模型量化和部署

基础模型

Others

操作系统

Linux

详细描述问题

(llama) root@autodl-container-acc74095be-783d5f09:~/autodl-tmp/llama.cpp# python convert.py /root/autodl-tmp/chinese-alpaca-2-7b-64k

依赖情况(代码类问题务必提供)

bitsandbytes             0.39.1
peft                     0.3.0
sentencepiece            0.1.97
torch                    2.0.1
transformers             4.31.0

运行日志或截图

(llama) root@autodl-container-acc74095be-783d5f09:~/autodl-tmp/llama.cpp# python convert.py /root/autodl-tmp/chinese-alpaca-2-7b-64k
Loading model file /root/autodl-tmp/chinese-alpaca-2-7b-64k/pytorch_model-00001-of-00002.bin
Traceback (most recent call last):
  File "/root/autodl-tmp/llama.cpp/convert.py", line 1474, in <module>
    main()
  File "/root/autodl-tmp/llama.cpp/convert.py", line 1410, in main
    model_plus = load_some_model(args.model)
  File "/root/autodl-tmp/llama.cpp/convert.py", line 1270, in load_some_model
    models_plus.append(lazy_load_file(path))
  File "/root/autodl-tmp/llama.cpp/convert.py", line 888, in lazy_load_file
    raise ValueError(f"unknown format: {path}")
ValueError: unknown format: /root/autodl-tmp/chinese-alpaca-2-7b-64k/pytorch_model-00001-of-00002.bin
HelloEveryonehh commented 5 months ago

详细描述问题: 同样的操作在colab上可以实现,但是在autodl A100-40GB上就会报上述错误

ymcui commented 5 months ago

是只有这一个模型转换不了,还是其他模型也都不行?比如原版英文llama-2能否在你的A100上转换?

HelloEveryonehh commented 5 months ago

是只有这一个模型转换不了,还是其他模型也都不行?比如原版英文llama-2能否在你的A100上转换?

您好,这个问题已解决,是我git lfs的时候没有把模型整体下载下来