mmdetection v2.2代码结构梳理

[rorschach-xiao]

代码链接：https://github.com/open-mmlab/mmdetection/tree/master

文档链接：https://mmdetection.readthedocs.io/en/latest/index.html

[rorschach-xiao]

• mmdetection下几个关键的文件夹

  • configs

    该文件夹下所有的参数配置均以python字典形式给出，可以归类成_base_和其他实验config；

    • _base_下包括datasets、models、schedules三个文件夹:
      • 1. datasets下包括了针对不同数据集(cityscapes、coco、deepfashion等)设置的训练和测试参数，具体包含关系如下：
           • 最外层字典data包括了train、val和test三个子字典；
           • train、val和test下包括了数据集路径和数据集类型等一些字段，还包含一个pipeline子字典；
           • pipeline定义了训练和测试时使用的增强策略的相关字段；
      • 2. models下包括了各种网络模型的配置参数，主要包括三个关键字典：
           • model字典定义了当前网络模型使用的backbone,调用的各种组合模块和损失函数；
           • train_cfg字典和test_cfg字典定义了网络在训练和测试时的不同设置；
      • 3. schedules下包括训练时使用的学习率策略、优化器和训练epoch数。
    • 其他实验的config文件可以通过_base_属性来组合出相应的配置文件，也可以修改相应字段来覆盖继承的_base_配置中的字段。

  • mmdet

    该文件夹下包括了mmdetection的核心代码，主要由apis、core、datasets、models、ops、utils六部分组成：

    • 1. apis 中提供了训练、测试和推理时要使用到的一些api接口：
    • get_root_logger 创建一个训练／测试日志记录器logger。
    • set_random_seed 设置随机种子。
    • train_detector 封装好的训练算子。包括dataloader的创建、优化器的初始化、模型DP或DDP的封装、训练精度的设置、一些钩子函数的调用以及整个训练流程的运行。
    • init_detector 返回一个已经加载到gpu上的模型。
    • async_inference_detector 一个异步推理算子，返回推理结果。
    • inference_detector 推理检测算子，当输入imgs为字符串时返回一个生成器，否则直接将检测结果返回。
    • show_result_pyplot 对检测结果进行可视化。
    • multi_gpu_test 多gpu测试算子，最终将gpu上的结果打包后返回，提供collect_results_gpu和collect_results_cpu两种方式。
    • single_gpu_test 单gpu测试算子。
  • 2. core 中提供了检测和实例分割任务中要使用到的关键方法。
       • anchor 先验框生成相关方法；
       • bbox bounding box计算相关方法，包括：
       • 将预测bbox分配给对应gt的分配器assigner;
       • 将bbox的(x,y,w,h)转换成(dx, dy, dw, dh)的编码器coder;
       • iou计算方法;
       • bbox的相关采样器sampler;
       • evaluation iou、mean_ap等一些评估指标等计算方法；
       • fp16 使用fp16进行训练加速的相关装饰器和钩子函数；
       • mask 根据bbox生成实例分割中每个目标对应的mask的一些相关方法；
       • post_processing 提供后处理方法，包括NMS和TTA后的结果融合方法；
       • utils 提供分布式相关函数和tensor2img等一些其他实用方法；
  • 3. datasets 中提供不同数据集类、数据集采样器和增强方法等实现：
       • pipelines中提供了数据增强相关方法；
       • samplers中提供了和DDP配合使用的DistributedSampler和group_sampler类；
       • 剩下的就是用于读取不同数据集的数据集类，均继承父类CustomDataset。
  • 4. models 中定义了目标检测和实例分割使用的网络模型：
       • backbones 中定义了检测和实例分割使用的10中backbone，包括RegNet、ResNet、ResNetV1d、ResNeXt、SSDVGG、HRNet、Res2Net、HourglassNet、DetectoRS_ResNet、DetectoRS_ResNeXt；
       • losses 检测和实例分割损失函数的实现
       • necks 网络backbone和head之间的连接结构，多层级特征融合，包括FPN和FPN的一些变体结构。
       • dense_heads 处理特征图上的密集框部分, 主要分AnchorHead和AnchorFreeHead两大类。
       • roi_heads bbox或mask的roi_extractor+head.
       • detectors 各种检测器的模型类，继承关系如下：
       • 5. ops cuda优化加速代码,包括nms,roialign,dcn,masked_conv,focal_loss等。
       • 6. utils 提供一些例如collect_env,logger等实验中会用到的工具包。

  • tools

    该文件夹下包括训练和测试时使用的一些实用脚本，总结分析有以下几类。

    • 日志分析可视化脚本
    • 模型性能统计脚本(fps、flops等)
    • 数据集可视化脚本
    • 模型转换脚本
    • 启动训练和测试脚本

[rorschach-xiao]

• mmdetection训练和测试pipeline

  • 训练

    • 1. 通过Config.fromfile读取配置文件，根据配置文件中的参数更新训练参数，记录训练环境、创建日志目录、DDP初始化等。
    • 2. 通过一系列build_*函数来创建训练集、验证集、网络模型、优化器等模块，例如使用build_detector来创建模型，使用build_dataset来创建数据集等。这些模块都是通过mmcv中的Registry类的_register_module方法注册的，整个注册过程即将cfg中的字符串转换成相应的模块。
    • 3. 整个训练和验证的迭代过程封装在mmcv.runner.EpochBasedRunner类中，通过实例化该类并调用run方法来启动整个训练流程。
         • 在train方法中，仅保留模型每个iter前向的代码，其他代码全部通过register_training_hooks将相关钩子函数插入到训练过程中，如下图所示

           在1个epoch的训练中默认使用了7种钩子：DistSamplerSeedHook、LrUpdaterHook、MomentumUpdaterHook、OptimizerStepperHook、CheckpointSaverHook、IterTimerHook、LoggerHook。

         • 在val方法中，也采用了跟train类似使用钩子函数的机制，仅保留每个iter前向的代码。

  • 测试

    • 1. 通过Config.fromfile读取配置文件，根据配置文件中的参数更新测试参数、选择DP或者DDP模式等。
    • 2. 通过一系列build_*函数创建dataset、data_loader和model三个模块，原理同训练过程。
    • 3. 若使用单卡测试，则使用mmcv中的MMDataParallel封装模型，并通过single_gpu_test方法得到测试/推理结果；若使用多卡测试，则使用mmcv中的MMDistributedDataParallel封装模型，并通过multi_gpu_test方法得到测试/推理结果。
    • 4. 注意：测试时仅支持一卡一张图片，若需要一卡同时对多张图片进行测试/推理，需要修改tools/test.py代码。