请教一下，chinese llama不是用lora训练的吗，我怎么看用的黄色。

RUCAIBox / LLMSurvey

The official GitHub page for the survey paper "A Survey of Large Language Models".

https://arxiv.org/abs/2303.18223

9.65k stars 745 forks source link

Open lyccol opened 1 year ago

lyccol commented 1 year ago

EliverQ commented 12 months ago

确实是使用了lora训练的，这里因为最初在整理的时候看到cheinses llama的时候看到他先进行了中文继续预训练，然后又指令微调，在指令微调的时候使用了lora，并不是只进行了轻量化微调，所以就没有标了；下次更新的时候我们会考虑修改一下这个地方。谢谢您的提问！