search

dandelionsllm / pandallm

Panda项目是于2023年5月启动的开源海外中文大语言模型项目，致力于大模型时代探索整个技术栈，旨在推动中文自然语言处理领域的创新和合作。
Apache License 2.0
1.07k stars 91 forks source link

预训练和微调阶段使用的是全量微调还是lora? #18

Closed mellivoraPKU closed 1 year ago

mellivoraPKU commented 1 year ago

预训练和微调阶段使用的是全量微调还是lora?

SparkJiao commented 1 year ago

二者都是全量微调 如果你需要lora可以在设置里开一下 我已经写好了