加载模型的问题 - Githubissues

GanjinZero / RRHF

[NIPS2023] RRHF & Wombat

780 stars 49 forks source link

Open LiangZhuuu opened 10 months ago

LiangZhuuu commented 10 months ago

感谢作者的开源！想问一下如果我用的SFT模型是chatglm2，代码需要改动很多地方吗？

GanjinZero commented 10 months ago

没有用过哈，但是loss一共就几十行，应该很容易改。

LiangZhuuu commented 10 months ago

没有用过哈，但是loss一共就几十行，应该很容易改。

好的谢谢！已经跑起来了，但有个问题是loss从第一个batch之后全是0.0了，这种情况合理吗？

GanjinZero commented 10 months ago

看起来不太对劲吧，你可以看下loss的两项具体是什么

LiangZhuuu commented 10 months ago

看起来不太对劲吧，你可以看下loss的两项具体是什么

已经解决了！是精度的问题，现在有一个新的问题是在第一次保存checkpoint的时候报错CUDA out of memory，这是怎么回事呀？batch size=1，还有什么优化显存的空间吗？

GanjinZero commented 10 months ago

fp16？

LiangZhuuu commented 10 months ago

fp16？

把bf16 & tf32换成fp16吗？

GanjinZero commented 10 months ago

fp16？

把bf16 & tf32换成fp16吗？

我写错了，我的意思就是bf16

LiangZhuuu commented 9 months ago

想问一下rrhf训练完的模型为什么有点容易复读，可能是一段话一直复读，也可能是一个字符比如br、div一直重复输出。不知道是怎么回事，作者有碰到过类似的情况吗？

GanjinZero commented 9 months ago

没碰到啊……你也许需要（1）检查你的数据，有没有这种特别坏的回复（2）尝试调小对比学习项的权重

LiangZhuuu commented 9 months ago

单条数据过长会导致oom吗？ 7b模型有推荐的数据长度和model_max_length吗/(ㄒoㄒ)/

GanjinZero commented 9 months ago

会的；512？