search

gingasan / lemon

59 stars 6 forks source link

麻烦帮看下效果复现差距较大的原因? #5

Open aiainui opened 7 months ago

aiainui commented 7 months ago

我看您readme中的EC-LAW效果是90+，但是我用您这边开源的rem-m0.3.bin复现效果，也就60+，请问这是什么原因呢？

aiainui commented 7 months ago

应该是没有在对应的数据集上微调吗？

gingasan commented 7 months ago

90+是微调过的结果，lr=5e-5，bsz=32或128。

----- 原始邮件 ----- 发件人: "aihe" @.> 收件人: "gingasan/lemon" @.> 抄送: "Subscribed" @.***> 发送时间: 星期一, 2024年 3 月 25日 上午 12:46:46 主题: Re: [gingasan/lemon] 麻烦帮看下效果复现差距较大的原因? (Issue #5)

应该是没有在对应的数据集上微调吗？

-- Reply to this email directly or view it on GitHub: https://github.com/gingasan/lemon/issues/5#issuecomment-2016866069 You are receiving this because you are subscribed to this thread.

Message ID: @.***>