Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 421 forks source link

请问 continuous-finetune 的实现原理是什么?是语料的不断merge还是合并了各个批次的LoRa Adapter? #93

Closed valkryhx closed 1 year ago

valkryhx commented 1 year ago

对Vicuna模型很感兴趣,刚看到这个项目,想请教一下。 LoRA finetune会生成Adapter, 想请教一下项目主页中提到的continuous-finetune是合并了不同语料finetune后不同批次的LAdapter吗? 还是说是训练语料的merge来实现? 谢谢。

Facico commented 1 year ago

合并语料

valkryhx commented 1 year ago

合并语料

我看到tools目录下有个merge.py 是把lora adapter参数合并到大模型 那是不是可以用参数合并的方式而不是语料合并来连续微调呢

Facico commented 1 year ago

直接多个lora参数相加肯定是不会有什么效果的,你想做的是类似MoE那种形式吧,可以参考这个issue tools目录那个merge完了之后其实还是套了一层peft的壳子,peft里面应该是套的loralib的壳子,虽然里面实现的是对矩阵的合并,但是代码层面还是两块东西