Closed HelloEveryonehh closed 5 months ago
模型量化和部署
Others
Linux
(llama) root@autodl-container-acc74095be-783d5f09:~/autodl-tmp/llama.cpp# python convert.py /root/autodl-tmp/chinese-alpaca-2-7b-64k
bitsandbytes 0.39.1 peft 0.3.0 sentencepiece 0.1.97 torch 2.0.1 transformers 4.31.0
(llama) root@autodl-container-acc74095be-783d5f09:~/autodl-tmp/llama.cpp# python convert.py /root/autodl-tmp/chinese-alpaca-2-7b-64k Loading model file /root/autodl-tmp/chinese-alpaca-2-7b-64k/pytorch_model-00001-of-00002.bin Traceback (most recent call last): File "/root/autodl-tmp/llama.cpp/convert.py", line 1474, in <module> main() File "/root/autodl-tmp/llama.cpp/convert.py", line 1410, in main model_plus = load_some_model(args.model) File "/root/autodl-tmp/llama.cpp/convert.py", line 1270, in load_some_model models_plus.append(lazy_load_file(path)) File "/root/autodl-tmp/llama.cpp/convert.py", line 888, in lazy_load_file raise ValueError(f"unknown format: {path}") ValueError: unknown format: /root/autodl-tmp/chinese-alpaca-2-7b-64k/pytorch_model-00001-of-00002.bin
详细描述问题: 同样的操作在colab上可以实现,但是在autodl A100-40GB上就会报上述错误
是只有这一个模型转换不了,还是其他模型也都不行?比如原版英文llama-2能否在你的A100上转换?
您好,这个问题已解决,是我git lfs的时候没有把模型整体下载下来
提交前必须检查以下项目
问题类型
模型量化和部署
基础模型
Others
操作系统
Linux
详细描述问题
依赖情况(代码类问题务必提供)
运行日志或截图