超参数设置 - Githubissues

ChengHanXin commented 1 year ago

在potsdan数据集上的预训练，我看您设置batchsize=64，initial learning rate=0.003125。请问这个配置是在四卡的情况下最优的吗？如果是，那么我用单卡训练的话，是否可以保持以上两个参数不变？

pUmpKin-Co commented 1 year ago

Hi~您好.可以的，实际上Potsdam的所有预训练相关的实验我自己也是在单卡条件下做的.至于这个配置是否最优，我自己也不确定，我lr的设置是根据Adan优化器作者的建议设置的（如果感兴趣可以看一下Adan的文章），没有经过太多的搜索. 谢谢您对我们工作的关注.

ChengHanXin commented 1 year ago

感谢您的回复解答！

------------------ 原始邮件 ------------------ 发件人: "NJU-LHRS/official-CMID" @.>; 发送时间: 2023年7月23日(星期天) 晚上9:12 @.>; @.**@.>; 主题: Re: [NJU-LHRS/official-CMID] 超参数设置 (Issue #10)

Hi~您好.可以的，实际上Potsdam的所有预训练相关的实验我自己也是在单卡条件下做的.至于这个配置是否最优，我自己也不确定，我lr的设置是根据Adan优化器作者的建议设置的（如果感兴趣可以看一下Adan的文章），没有经过太多的搜索. 谢谢您对我们工作的关注.

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

pUmpKin-Co commented 11 months ago

Closed as long periods of inactivity, feel free to reopen if there is any problem.

NJU-LHRS / official-CMID

超参数设置 #10