Closed hungsing92 closed 4 months ago
主要有两个原因。
首先是StreamMapNet用的那种连续从一个sequence里sample frame的方式没法在训练时控制两帧之间的间隔,两帧之间间隔太小的话,模型能学的temporal bias会太简单 (比如直接把上一帧结果给transform到下一帧,其他的什么也不做,大部分情况下loss也能很小),导致temporal modeling效果不好。
其次是希望通过多帧training学到更好的long-term temporal modeling(参考MOTR),包括memory fusion也是用了多帧的history。这些用StreamMapNet那种sampling data的方式都比较难实现。
但是这种多帧训练相比StreamMapNet那种方式需要更多显存,如果用的gpu显存不大的话(比如我每张卡只有24G),batch size上就比较受限。
主要有两个原因。
首先是StreamMapNet用的那种连续从一个sequence里sample frame的方式没法在训练时控制两帧之间的间隔,两帧之间间隔太小的话,模型能学的temporal bias会太简单 (比如直接把上一帧结果给transform到下一帧,其他的什么也不做,大部分情况下loss也能很小),导致temporal modeling效果不好。
其次是希望通过多帧training学到更好的long-term temporal modeling(参考MOTR),包括memory fusion也是用了多帧的history。这些用StreamMapNet那种sampling data的方式都比较难实现。
但是这种多帧训练相比StreamMapNet那种方式需要更多显存,如果用的gpu显存不大的话(比如我每张卡只有24G),batch size上就比较受限。