Closed yumianhuli2 closed 4 months ago
可以比较容易的支持进去 你可以更改config文件中的llm_model
https://github.com/Coobiw/MiniGPT4Qwen/blob/master/lavis/configs/models/minigpt4qwen/minigpt4qwen-14b.yaml#L34
然后可以下载Qwen-14B-Int4的权重,把绝对路径写到这里就行了
如果训练的话 可以在lavis/projects/[your_dir]/[your_config].yaml里加上llm_model
,指定你的int4模型路径即可
可以比较容易的支持进去 你可以更改config文件中的
llm_model
https://github.com/Coobiw/MiniGPT4Qwen/blob/master/lavis/configs/models/minigpt4qwen/minigpt4qwen-14b.yaml#L34然后可以下载Qwen-14B-Int4的权重,把绝对路径写到这里就行了
如果训练的话 可以在lavis/projects/[your_dir]/[your_config].yaml里加上
llm_model
,指定你的int4模型路径即可
好的,3Q
solved. I'll close this issue.
是否支持QWEN-14B的INT4的量化版本?谢谢!