请问可以用 fastchat 中的 vicuna 替代 llama 进行微调吗？

Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案，结构参考alpaca

https://github.com/Facico/Chinese-Vicuna

Apache License 2.0

4.14k stars 422 forks source link

Closed Jingsong-Yan closed 1 year ago

Jingsong-Yan commented 1 year ago

非常棒的工作！我用3090去训练 fastchat 中的 vicuna 时发现训练不支持3090，主要是 lash-attention 的原因。请问你的项目可以用fastchat 中的 vicuna 替代 llama 进行模型微调吗？

LZY-the-boys commented 1 year ago

应该是可以的，我们没有试过。我们之前只试过把基于LLama训练的Lora加载Vicuna上，也是能work的

Jingsong-Yan commented 1 year ago

感谢回复。将模型替换成 FastChat 的 Vicuna，可以在2张3090上训练。

ShouyangDong commented 1 year ago

效果怎样，我用了这个vicuna7b，最后感觉效果不太行