search

RUCAIBox / LLMSurvey

The official GitHub page for the survey paper "A Survey of Large Language Models".
https://arxiv.org/abs/2303.18223
9.64k stars 745 forks source link

请教一个问题，LORA，QLORA等高效微调的方式与全参数微调方式在性能方面具体有多少差距？ #56

Closed NingJinzhong closed 8 months ago

NingJinzhong commented 11 months ago

目前7B版本的模型基座可以使用QLORA等方式在单卡3090或者双卡3090上微调起来，但是对于很多玩家，目前手里并没有那么大的显卡做全参数的微调。请问可以在综述之后的版本中，增加实验，来验证一下相同模型基座使用LORA、QLORA等方式和全参数微调的具体性能区别么？同时我也想知道，大参数量模型的高效微调和小参数量模型的全参数量微调的性能对比情况。

EliverQ commented 10 months ago

您好，综述后续版本计划会有轻量化微调模型性能的实验，但是由于算力资源限制，我们可能并不会比对很多模型。谢谢您的建议。