search

baichuan-inc / Baichuan2

A series of large language models developed by Baichuan Intelligent Technology
https://huggingface.co/baichuan-inc
Apache License 2.0
4.08k stars 293 forks source link

baichuan2 可以继续使用 llama-efficient-tunning 工程微调吗？ #45

Open cxj01 opened 1 year ago

cxj01 commented 1 year ago

baichuan2 可以继续使用 llama-efficient-tunning 工程微调吗？

hiyouga commented 1 year ago

可以使用 https://github.com/hiyouga/LLaMA-Efficient-Tuning#supported-models

tumanshu commented 1 year ago

使用 llama-efficient-tunning 工程微调时loss不下降，同样的数据在 baichuan1代上loss下降的很好，有什么要注意的地方吗

hiyouga commented 1 year ago

@tumanshu 更新代码