search

jbwang1997 / OBBDetection

OBBDetection is an oriented object detection library, which is based on MMdetection.
Apache License 2.0
525 stars 112 forks source link

请问一下怎么评测模型性能。 #6

Closed lyccol closed 2 years ago

lyccol commented 2 years ago

要怎么用test的来评测模型指数

jbwang1997 commented 2 years ago

如果用dota数据集需要将检测结果提交到 DOTA 验证通道里。

OBBDetection可以直接生成 DOTA 的提交格式

python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} --format-only --options save_dir=${SAVE_DIR}

将SAVE_DIR的输出压缩成 .zip 文件就可以直接提交了

lyccol commented 2 years ago

如果用dota数据集需要将检测结果提交到 DOTA 验证通道里。

OBBDetection可以直接生成 DOTA 的提交格式

python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} --format-only --options save_dir=${SAVE_DIR}

将SAVE_DIR的输出压缩成 .zip 文件就可以直接提交了

您好，我是用的自己的数据集，请问要如何评测自己的数据集呢？

jbwang1997 commented 2 years ago

如果是自己的数据集可以在 mmdet.datasets 中创建自己的数据集的 dataset 并重写 evaluate 方法。这样在测试的时候通过增加 --eval [MATRICS] 可以直接进行测试。

dataset的写法可以参考 custom.py, dior.py, dota.py。

如果已经得到结果可以调用 arb_eval_map 计算各个类别的mAP。arb_eval_map 函数的用法可以参考程序中的注释。

lyccol commented 2 years ago

谢谢 成功了， 我先直接修改了misc中DOTA数据集的类别为自定义的，然后修改了split_configs文件夹，并给test加上ann_dirs的值。

训练完毕后，

运行python tools/test.py configs/obb/faster_rcnn_obb/faster_rcnn_obb_r50_fpn_1x_dota10.py work_dirs/faster_rcnn_obb_r50_fpn_1x_dota10/latest.pth --out work_dirs/faster_rcnn_obb_r50_fpn_1x_dota10/res.pkl --eval mAP就成功了

jimuIee commented 7 months ago

你好，就是生成官方的提交文件test_pipeline应该怎么写呢，还是说直接复制train的pipeline就行了嘛