Closed XuanjiaZ closed 11 months ago
您好!有如下两个疑问。 1、在论文中,Ⅳ.B 节对 Potsdam 数据集预训练的说明中,提到使用的学习率是 0.003125,请问是应该在 pt_config.yaml 中设置为 lr: 0.003125吗,还是说如果是4张卡的话,需要在该配置文件中设置 lr: 0.003125/4。
2、此外,我在复现Ⅳ.B实验后,发现结果比论文中的结果差2个百分点左右,不是很清楚是否我的参数设置有问题,请问我可以看一下当时这个实验CMID-MoCo(三个分支均使用)的配置文件pt_config.yaml吗。 十分感谢!
补充第2点:我想要复现的实验为下图的红框中的实验。
Hi~您好,如果batch size没有变化的话,lr是不用变得.但如果您使用4张卡每张卡batch size为64,则最终batch size为64 x 4,这时候您需要适当调大学习率.
以下是我的Config:
感谢您对我们工作的关注!
我对论文中的Ⅳ.B 节对 Potsdam 数据集 预训练 的实验进行了复现,但是效果不是很好,不清楚是否我的配置有误,以下是我的配置文件:
我在预训练中使用了4张显卡,因此我训练时的batchsize设置为64/4=16,学习率设置为0.003125(但是在训练过程中生成的配置文件config.json中的学习率为0.003125*4=0.0125),我不是很确定在上述pt_config.yaml我的学习率以及batchsize是否这两个参数设置正确。
这种情况的话,建议您可以尝试将base lr(也就是0.003125)设置为0.003125 / 4.这样在训练过程中会自动根据显卡数量调整学习率.
当然,也可以保持0.003125不变,注释掉main_pretrain.py
中的131
行.
Closed as long periods of inactivity, feel free to reopen if there is any problem.
您好!有如下两个疑问。 1、在论文中,Ⅳ.B 节对 Potsdam 数据集预训练的说明中,提到使用的学习率是 0.003125,请问是应该在 pt_config.yaml 中设置为 lr: 0.003125吗,还是说如果是4张卡的话,需要在该配置文件中设置 lr: 0.003125/4。![image](https://github.com/NJU-LHRS/official-CMID/assets/123855757/38023a02-d298-42b1-abc5-d34ac61cbaa7)
2、此外,我在复现Ⅳ.B实验后,发现结果比论文中的结果差2个百分点左右,不是很清楚是否我的参数设置有问题,请问我可以看一下当时这个实验CMID-MoCo(三个分支均使用)的配置文件pt_config.yaml吗。 十分感谢!