为什么执行过程中没有gpu offload，这边执行的gpu为a100 80G，

SJTU-IPADS / PowerInfer

High-speed Large Language Model Serving on PCs with Consumer-grade GPUs

MIT License

7.96k stars 412 forks source link

Closed qw1319 closed 5 months ago

qw1319 commented 5 months ago

第一步：报错没有activation文件夹；

这边手动增加activation文件夹（fake）后，执行python依然报错

单独执行python命令报错如下：

qw1319 commented 5 months ago

这个activation文件夹要如何产生呢？怎么样才能使能gpu offload呢

qw1319 commented 5 months ago

solved