search

SJTU-IPADS / PowerInfer

High-speed Large Language Model Serving on PCs with Consumer-grade GPUs
MIT License
7.97k stars 415 forks source link

请问我该如何获得opt模型相关的weight文件？ #223

Open a1bc2def6g opened 2 months ago

a1bc2def6g commented 2 months ago

你好！我在项目中只找到了llama相关模型的文件，请问如果我想要使用powerinfer进行opt模型的推理加速，应该从哪里获取相关权重文件呢？

eljrte commented 2 days ago

同问。请问您有解决吗？怎么用llama.cpp或者powerinfer去运行OPT模型