search

jbwang1997 / OBBDetection

OBBDetection is an oriented object detection library, which is based on MMdetection.
Apache License 2.0
522 stars 112 forks source link

roi transformer训练中自动kill #85

Open Yangjie0610 opened 2 years ago

Yangjie0610 commented 2 years ago

你好，麻烦问一下，roi transformer训练中自动kill是什么原因，GPU现存利用率刚过半，没有溢出，为什么会自动kill

jbwang1997 commented 2 years ago

这种情况还真没有见过，可以提供更多信息吗

Yangjie0610 commented 2 years ago

就是第一个epoch还没结束就自动killed，查了一下日志，说是out of memory了，但是GPU显存利用率刚过半，最主要只要是二阶段的都会出现这个问题 -。- 数据没有问题 内存应该也够

jbwang1997 commented 2 years ago

https://github.com/jbwang1997/OBBDetection/blob/master/configs/obb/roi_transformer/faster_rcnn_roitrans_r50_fpn_1x_dota10.py#L107 可以尝试将这里的参数注解了，这里设置了超过多少gt使用cpu计算IOU，可能会造成内存超出

Yangjie0610 commented 2 years ago

https://github.com/jbwang1997/OBBDetection/blob/master/configs/obb/roi_transformer/faster_rcnn_roitrans_r50_fpn_1x_dota10.py#L107 可以尝试将这里的参数注解了，这里设置了超过多少gt使用cpu计算IOU，可能会造成内存超出

好的，谢谢 -。-