search

yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.81k stars 351 forks source link

实时微调可以通过加入传统RL实现吗 #157

Open LIzhiqian-cassie opened 11 months ago

LIzhiqian-cassie commented 11 months ago

根据用户对话中收集的新数据不断update参数，并且要防止遗忘问题。 但数据集每次是一些句子，总体不够多用于finetune。目前思路是设计一个reward model进行preference调参数，即传统强化学习RL？

想讨论具体有例子和实践方法