Facico / Chinese-Vicuna

Chinese-Vicuna: A Chinese Instruction-following LLaMA-based Model —— 一个中文低资源的llama+lora方案,结构参考alpaca
https://github.com/Facico/Chinese-Vicuna
Apache License 2.0
4.14k stars 425 forks source link

可以使用原始文本微调吗 #212

Open gravitywp opened 1 year ago

gravitywp commented 1 year ago

使用没有指令得,原始文本微调模型

Facico commented 1 year ago

可以,但那样就会变成一个类似没有意图的生成器(训练难度也会变大),如果任务都是一个意图的话那可能问题不大

huxiaosheng123 commented 11 months ago

可以参考这个:https://github.com/huxiaosheng123/open-llama2