yrcong / STTran

Spatial-Temporal Transformer for Dynamic Scene Graph Generation, ICCV2021
MIT License
181 stars 34 forks source link

关于训练的时长 #16

Closed Tudouu closed 2 years ago

Tudouu commented 2 years ago

作者你好,请问整个网络当时您训练了多久达到的现在的效果?

yrcong commented 2 years ago

Hi, 我们使用单块rtx2080ti,对于predcls一个epoch大概105min,需要5-6个epoch。SGDET的时间会比PredCLS长大概150min/epoch,需要8-10个epoch

PrimoWW commented 2 years ago

hi, 你好。我试着用一张3090区复现predcls结果。很遗憾的是我训练了大概40+的epoch 甚至把最低的学习率调低至1e-8.最终的效果在with constraint predcls recall@20下得到了68.5% (68.6% in paper)。

yrcong commented 2 years ago

hi, 你好。我试着用一张3090区复现predcls结果。很遗憾的是我训练了大概40+的epoch 甚至把最低的学习率调低至1e-8.最终的效果在with constraint predcls recall@20下得到了68.5% (68.6% in paper)。

Hi,(68.6% in paper)大概是指的paper中的Re@10? 但您自训练的Re@20只有68.5%?还是哪里打错了... 不过肯定不需要训练这么久,一般5、6个epoch就达到最佳效果了

Shengyu-Feng commented 2 years ago

hi, 你好。我试着用一张3090区复现predcls结果。很遗憾的是我训练了大概40+的epoch 甚至把最低的学习率调低至1e-8.最终的效果在with constraint predcls recall@20下得到了68.5% (68.6% in paper)。

Hi,(68.6% in paper)大概是指的paper中的Re@10? 但您自训练的Re@20只有68.5%?还是哪里打错了... 不过肯定不需要训练这么久,一般5、6个epoch就达到最佳效果了

我现在也没法复现predcls的结果,正常训练只有67.9% 的 R@10

PrimoWW commented 2 years ago

嗨,你好。我用第一条3090区复现predcls结果。很遗憾的是我训练了大约40+的时代甚至最低把的学习率调低至1e-8。 @20下得到了68.5%(纸上68.6%)。

你好,(68.6% in paper)大概是指的论文中的Re@10?但你自训练的回复@20只有68.5%?还是什么时候打错了……还好不需要训练这么久,一般5、6个时代就达到最佳效果了

我现在也无法复现预测的结果,正常只能训练 67.9% 的 R@10

请问现在你复现到baseline了吗》用了什么trick?我目前最高差不多也是67.9。

yrcong commented 2 years ago

嗨,你好。我用第一条3090区复现predcls结果。很遗憾的是我训练了大约40+的时代甚至最低把的学习率调低至1e-8。 @20下得到了68.5%(纸上68.6%)。

你好,(68.6% in paper)大概是指的论文中的Re@10?但你自训练的回复@20只有68.5%?还是什么时候打错了……还好不需要训练这么久,一般5、6个时代就达到最佳效果了

我现在也无法复现预测的结果,正常只能训练 67.9% 的 R@10

请问现在你复现到baseline了吗》用了什么trick?我目前最高差不多也是67.9。

Hi, 最近在忙别的事情,才看GitHub:) 我打算最近重新完善一下代码,请问您复现R10是67.9%时,R20/R50分别是多少? 另外在多少epoch达到这个分数,loss是多少?

yrcong commented 2 years ago

hi, 你好。我试着用一张3090区复现predcls结果。很遗憾的是我训练了大概40+的epoch 甚至把最低的学习率调低至1e-8.最终的效果在with constraint predcls recall@20下得到了68.5% (68.6% in paper)。

Hi,(68.6% in paper)大概是指的paper中的Re@10? 但您自训练的Re@20只有68.5%?还是哪里打错了... 不过肯定不需要训练这么久,一般5、6个epoch就达到最佳效果了

我现在也没法复现predcls的结果,正常训练只有67.9% 的 R@10

我最近整理一下,我用的是python3.6 2080ti,有可能是batch size=1导致训练不稳定。 之前也在忙cvpr不过不是这个topic所以也没登github。 我记下你这个数了到时候看看,你看你要不要把comment删了先,这直接能知道你的submission了。。。

yrcong commented 2 years ago

嗨,你好。我用第一条3090区复现predcls结果。很遗憾的是我训练了大约40+的时代甚至最低把的学习率调低至1e-8。 @20下得到了68.5%(纸上68.6%)。

你好,(68.6% in paper)大概是指的论文中的Re@10?但你自训练的回复@20只有68.5%?还是什么时候打错了……还好不需要训练这么久,一般5、6个时代就达到最佳效果了

我现在也无法复现预测的结果,正常只能训练 67.9% 的 R@10

请问现在你复现到baseline了吗》用了什么trick?我目前最高差不多也是67.9。

看了下log论文里的R20=71.8(0.7177)是在第6个epoch个后drop learning rate (*0.5)得到的。我又跑了一下,改用StepLR固定在第五个epoch后drop lr得到的R20=0.7162。 Optimizer的weight decay是1e-3, epsilon 1e-10

yrcong commented 2 years ago

hi, 你好。我试着用一张3090区复现predcls结果。很遗憾的是我训练了大概40+的epoch 甚至把最低的学习率调低至1e-8.最终的效果在with constraint predcls recall@20下得到了68.5% (68.6% in paper)。

Hi,(68.6% in paper)大概是指的paper中的Re@10? 但您自训练的Re@20只有68.5%?还是哪里打错了... 不过肯定不需要训练这么久,一般5、6个epoch就达到最佳效果了

我现在也没法复现predcls的结果,正常训练只有67.9% 的 R@10

see the comment

LllHan commented 1 year ago

嗨,你好。我试着用张3090区复现预测结果。很遗失的是我训练了大概念40+的时代甚至把最低的学习率低到最低-2垸锐是1。得到了68.5%(68.6% in paper)。

你好,请问你在3090上使用的pytorch和cuda是什么版本的呢?

yrcong commented 1 year ago

嗨,你好。我试着用张3090区复现预测结果。很遗失的是我训练了大概念40+的时代甚至把最低的学习率低到最低-2垸锐是1。得到了68.5%(68.6% in paper)。

你好,请问你在3090上使用的pytorch和cuda是什么版本的呢?

您好,我没有在3090上运行。据我所知3090仅支持cuda11.1以上版本