ssbuild / aigc_serving

aigc_serving lightweight and efficient Language service model reasoning
Apache License 2.0
23 stars 2 forks source link

项目不能加载使用peft保存的lora权重 #20

Closed shell-nlp closed 1 year ago

shell-nlp commented 1 year ago

想使用你的项目加载其他项目通过pedf库保存的lora权重来搭建服务,不能加载,希望可以支持

ssbuild commented 1 year ago

对应模型仓库 应该都添加了一个convert_from_peft.py , 可以将peft权重转换到 deep_training lora 权重。

ssbuild commented 1 year ago

aigc-zoo 0.1.21.post1

shell-nlp commented 1 year ago

对应模型仓库 应该都添加了一个convert_from_peft.py , 可以将peft权重转换到 deep_training lora 权重。

但是仍然是仅仅支持 特定模型 转换到 aigc_serving项目, 比如 我想把 tool_llama 或者 LAWGPT 等 aigc_zoo中没有的模型,使用 aigc_serving 部署 就行不通了

ssbuild commented 1 year ago

计划下个版本 0.2.x系列 无缝支持。