search

SJTU-IPADS / PowerInfer

High-speed Large Language Model Serving on PCs with Consumer-grade GPUs
MIT License
7.98k stars 415 forks source link

.generated.gpuidx 是在用 huggingface-cli 命令下载模型的时候自动生成的吗？有没用别的办法获取？ #214

Closed lzcchl closed 3 months ago

lzcchl commented 3 months ago

比如我下载 PowerInfer/ReluLLaMA-7B-PowerInfer-GGUF 是通过国内镜像站手动下载的，但是这里面没有 .generated.gpuidx 后缀的文件，这个文件是什么时候自动生成的吗？是huggingface-cli 命令下载模型的时候自动生成的吗？在没有梯子的情况下，还有什么办法生成呢？非常感谢 image

lzcchl commented 3 months ago

解决了，之前一直报下面的错误 image

我理解是：xxx.generated.gpuidx是推理代码自动生成的，如果出现类似这个东西的报错，就去模型文件夹找到xxx.generated.gpuidx并手动删除，再重新跑推理，让其再自动生成一遍；