Open Leekinxun opened 1 year ago
是,chatglm不是标准CausalLM
是,chatglm不是标准CausalLM
明白,感谢!
是,chatglm不是标准CausalLM
请问新增的DPO方法可以用于ChatGLM2吗?
是,chatglm不是标准CausalLM
我看B站有人这样做
是,chatglm不是标准CausalLM
请问新增的DPO方法可以用于ChatGLM2吗?
dpo可以跑chatglm2-6b RM训练也支持 RLHF也支持 建议先用dpo跑,简单些。
是,chatglm不是标准CausalLM
请问新增的DPO方法可以用于ChatGLM2吗?
dpo可以跑chatglm2-6b RM训练也支持 RLHF也支持 建议先用dpo跑,简单些。
请问chatglm支持吗,1版本的,不是chatglm2
DPO的目标函数是为了扩大Q-A1 和Q-A2 这两个文本之间的差异,跟生成文本的条件概率有关系,跟模型本身关系不大,可以试试trl的代码或者本项目的代码替换模型。
DPO的目标函数是为了扩大Q-A1 和Q-A2 这两个文本之间的差异,跟生成文本的条件概率有关系,跟模型本身关系不大,可以试试trl的代码或者本项目的代码替换模型。
好的好的十分感谢
Describe the Question
Please provide a clear and concise description of what the question is. chatglm2是不是做不了PPO相关的训练,我在rm模型中用了bert训练,但是无法合并参数,同时第四部的rl训练也显示ChatGLM2模型没有AutoModelForCausalLMWithValueHead,请问这种情况是不是只能换模型了