关于利用iSAID数据集训练的问题

[OreOooRanJie]

我在利用iSAID数据训练D2Det的时候，一开始能训练起来，但是消耗的显存会随着训练历程产生波动，很容易出现out of memory的情况。请问这个是什么情况？即使我把resize的尺寸改小也会出现训练一段时间之后突然显存不足的情况。麻烦大家分析一下。