search

HKUST-Aerial-Robotics / SIMPL

SIMPL: A Simple and Efficient Multi-agent Motion Prediction Baseline for Autonomous Driving
MIT License
161 stars 13 forks source link

训练batch_size对结果的影响 #14

Open Family-Liao opened 1 month ago

Family-Liao commented 1 month ago

因为设备原因，我训练的批大小是4，将训练出来的模型进行评估得到的结果如下图所示 4 与你们预训练出来的模型结果相差得有点大，请问这是正常现象吗，下图是用我的设备跑你们的预训练模型的结果 16

这个结果差距是正常现象吗？

MasterIzumi commented 1 month ago

@Family-Liao 这个肯定是有影响的。batch size 和 lr 需要相互适配，缩小bs应该也调小lr(*)。但由于优化器内部动量等问题，无法通过等比例缩放实现相同的效果，不过你可以调小lr试试。

(*) He, Tong, et al. "Bag of tricks for image classification with convolutional neural networks." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.

A similar issue is mentioned in #9.

Family-Liao commented 1 month ago

@Family-Liao 这个肯定是有影响的。batch size 和 lr 需要相互适配，缩小bs应该也调小lr(*)。但由于优化器内部动量等问题，无法通过等比例缩放实现相同的效果，不过你可以调小lr试试。

(*) He, Tong, et al. "Bag of tricks for image classification with convolutional neural networks." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.

A similar issue is mentioned in #9.

感谢回复

Family-Liao commented 1 month ago

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： Snipaste_2024-06-03_16-12-27 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi

MasterIzumi commented 1 month ago

@Family-Liao 这里和论文略微有一点不太一样，我们这里使用了polyline形式的lr scheduler，让它先从小lr开始warm up，然后固定若干epoch，最后再减小lr。你可以尝试修改图中中间那个文件77行中的参数，将init_lr和后面的values都改小。

Family-Liao commented 1 month ago

@Family-Liao 这里和论文略微有一点不太一样，我们这里使用了polyline形式的lr scheduler，让它先从小lr开始warm up，然后固定若干epoch，最后再减小lr。你可以尝试修改图中中间那个文件77行中的参数，将init_lr和后面的values都改小。

谢谢你的耐心解答 @MasterIzumi

RenWeiwei123 commented 3 weeks ago

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： Snipaste_2024-06-03_16-12-27 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi

你好，请问你找到合适的学习率了吗

Family-Liao commented 3 weeks ago

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： Snipaste_2024-06-03_16-12-27 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi

你好，请问你找到合适的学习率了吗

始终还是调不出来与原码训练后的得到的评估指标，放弃了，时间成本太高了

Family-Liao commented 3 weeks ago

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： Snipaste_2024-06-03_16-12-27 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi

你好，请问你找到合适的学习率了吗

如果您调出来与源码相近的评估指标后，能不能把学习率和对应的批次分享出来

RenWeiwei123 commented 3 weeks ago

好的，我试试，可以加个V交流下吗？renww666

---原始邮件--- 发件人: @.> 发送时间: 2024年6月17日(周一) 晚上7:37 收件人: @.>; 抄送: @.**@.>; 主题: Re: [HKUST-Aerial-Robotics/SIMPL] 训练batch_size对结果的影响 (Issue #14)

作者你好，我回顾一下论文，论文中写到：“使用Adam优化器并且学习率在开始时设置为1e-3,在40个epoch后渐渐地下降为1e-4”,我在代码中找到了这两个数值，如下图红色框： 请问，那如果我需要调整学习率的话，是应该两个数值都修改吗 @MasterIzumi

你好，请问你找到合适的学习率了吗

如果您调出来与源码相近的评估指标后，能不能把学习率和对应的批次分享出来

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>