【AI实战营第二期】第一次作业提交07班

[chg0901]

题目：基于RTMPose的耳朵穴位关键点检测

背景：

根据中医的“倒置胎儿”学说，耳朵的穴位反映了人体全身脏器的健康，耳穴按摩可以缓解失眠多梦、内分泌失调等疾病。耳朵面积较小，但穴位密集，涉及耳舟、耳轮、三角窝、耳甲艇、对耳轮等三维轮廓，普通人难以精准定位耳朵穴位。

任务

• 1.Labelme标注关键点检测数据集
• 2.划分训练集和测试集
• 3.Labelme标注转MS COCO格式
• 4.使用MMDetection算法库，训练RTMDet耳朵目标检测算法，提交测试集评估指标
• 5.使用MMPose算法库，训练RTMPose耳朵关键点检测算法，提交测试集评估指标
• 6.用自己耳朵的图像预测，将预测结果保存
• 7.用自己耳朵的视频预测，将预测结果保存

【4-7任务完成提交】 提交测试集评估指标（不能低于baseline指标的50%） 并使用训练的模型对自己的数据进行预测并保存呈现结果（可采用notebook或者输出图片和视频的形式呈现）。

【参考提交方法和格式】 【提交链接】issue 24 comment 【作业目录】2.Basic_mmdet3.x_V2

PS：任务1,2,3，示例代码作者子豪兄已经提供

目标检测Baseline模型（RTMDet-tiny）

关键点检测Baseline模型（RTMPose-s）

数据集

耳朵穴位关键点检测数据集，MS COCO格式，划分好了训练集和测试集，并写好了样例config配置文件 链接: https://pan.baidu.com/s/1swTLpArj7XEDXW4d0lo7Mg 提取码: 741p 标注人：张子豪、田文博

提交方式

请将作业内容上传到你自己的github仓库，并把对应的链接回复在评论区

[mm-assistant[bot]]

We recommend using English or English & Chinese for issues so that we could have broader discussion.

[JeffDing]

https://github.com/JeffDing/mmlabcamp/tree/main/第二期

Homework1.ipynb 课程的所有记录

图像及输出目录在mmpose/output目录下

pth文件存在百度网盘: 链接: https://pan.baidu.com/s/1p4xij8m3byJAl-ZzAXPHrQ?pwd=rzim 提取码: rzim

[xixihic]

https://github.com/xixihic/openmmlabhomework/tree/master 本次训练的配置文件在mmpose/config目录下 输出结果在mmpose/result目录下 测试指标在mmpose/test目录下 由于无法拍摄可用的耳朵照片及视频，所以使用网上的照片进行测试，无视频

[chg0901]

Github link openmmlab2-hongNo1-Assignment

测试结果可视化

详见测试数据和结果文件夹 MyEar目录和README.md

RTMDet-tiny

best epoch: 196/200

1. Json sclar
2. Config file
3. Training and Validation Log

   coco/bbox_mAP: 0.8080     coco/bbox_mAP_50: 0.9700  coco/bbox_mAP_75: 0.9700  
   coco/bbox_mAP_s: -1.0000  coco/bbox_mAP_m: -1.0000  coco/bbox_mAP_l: 0.8080

RTMPose-s

best epoch: 255/300

1. Json sclar
2. Config file
3. Training and Validation Log

coco/AP: 0.740501       coco/AP .5: 1.000000   coco/AP .75: 0.968647  coco/AP (M): -1.000000  coco/AP (L): 0.740501  
coco/AR: 0.780952       coco/AR .5: 1.000000   coco/AR .75: 0.976190  coco/AR (M): -1.000000  coco/AR (L): 0.780952 
PCK: 0.975057           AUC: 0.137925          NME: 0.040603 

测试图片和视频

单张图片和两个测试视频

• 1. Ear.jpg
• 2. Ear.mp4
• 3. Ear2.mp4

输出结果如下

RTMDet-tiny

• Ear.jpg rtmdet 可视化
• Ear.mp4 rtmdet 结果可视化

RTMPose-s

• Ear.jpg OpenCV 可视化

• Ear.jpg Visualizer 可视化

• Ear.jpg RTMDet-RTMPose API 可视化

• RTMPose-s Ear.mp4

• RTMPose-s Ear2.mp4

代码Notebook

• 01Ear目标检测-训练RTMDet.ipynb
• 02Ear目标检测-可视化训练日志.ipynb
• 03Ear目标检测-模型权重文件精简转换.ipynb
• 04Ear目标检测-预测.ipynb
• 05Ear关键点检测-训练RTMPose.ipynb
• 06Ear关键点检测-可视化训练日志.ipynb
• 07Ear关键点检测预测-命令行.ipynb
• 08Ear关键点检测预测-Python API.ipynb

训练权重

1. RTMDet-tiny模型权重 best_coco_bbox_mAP_epoch_196.pth

2. RTMPose-s模型权重 best_PCK_epoch_255.pth

对应的模型轻量化转换权重

1. best_coco_bbox_mAP_epoch_196_zip-dc2ee3bc.pth
2. best_PCK_epoch_255_zip-d1bf22ba.pth

知乎笔记链接

【七班】MMPose代码实践与耳朵穴位数据集实战【OpenMMLab AI实战营第二期Day3】 【CSDN】Version

[Jourllker]

【作业链接】 【作业目录】

关键点检测有些问题，模型性能比较差。 项目的配置和环境的安装已经预搭建好的，其他的步骤见两个.ipynb文件。 作业更详细信息见readme.md文件。

[CloudMonica]

推理结果：作业/mmpose/outputs mmdet训练结果：mmdetection mmpose训练结果：mmpose

[Caczhtus]

作业目录 作业记录

mmdet 指标

DONE (t=0.02s).
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.537
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.954
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.501
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = -1.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = -1.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.537
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.598
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.650
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.650
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = -1.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = -1.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.650
06/04 21:46:45 - mmengine - INFO - bbox_mAP_copypaste: 0.537 0.954 0.501 -1.000 -1.000 0.537
06/04 21:46:45 - mmengine - INFO - Epoch(val) [50][2/2]    coco/bbox_mAP: 0.5370  coco/bbox_mAP_50: 0.9540  coco/bbox_mAP_75: 0.5010  coco/bbox_mAP_s: -1.0000  coco/bbox_mAP_m: -1.0000  coco/bbox_mAP_l: 0.5370  data_time: 2.0657  time: 2.1472

mmpose 指标

DONE (t=0.00s).
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets= 20 ] =  0.741
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets= 20 ] =  1.000
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets= 20 ] =  0.970
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets= 20 ] = -1.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets= 20 ] =  0.741
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 20 ] =  0.793
 Average Recall     (AR) @[ IoU=0.50      | area=   all | maxDets= 20 ] =  1.000
 Average Recall     (AR) @[ IoU=0.75      | area=   all | maxDets= 20 ] =  0.976
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets= 20 ] = -1.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets= 20 ] =  0.793
06/05 01:37:52 - mmengine - INFO - Evaluating PCKAccuracy (normalized by ``"bbox_size"``)...
06/05 01:37:52 - mmengine - INFO - Evaluating AUC...
06/05 01:37:52 - mmengine - INFO - Evaluating NME...
06/05 01:37:52 - mmengine - INFO - Epoch(val) [200][6/6]    coco/AP: 0.740731  coco/AP .5: 1.000000  coco/AP .75: 0.970297  coco/AP (M): -1.000000  coco/AP (L): 0.740731  coco/AR: 0.792857  coco/AR .5: 1.000000  coco/AR .75: 0.976190  coco/AR (M): -1.000000  coco/AR (L): 0.792857  PCK: 0.975057  AUC: 0.141893  NME: 0.039382  data_time: 0.408166  time: 0.432510
06/05 01:37:52 - mmengine - INFO - The previous best checkpoint /data/run01/scz0brk/openmmlab/mmpose/work_dirs/rtmpose-s-ear/best_PCK_epoch_170.pth is removed

[Mrakas]

https://colab.research.google.com/drive/1ImgMdbXAtLu16rOD3XvjnB7FGTCOLsbk?usp=sharing 太忙了先放个colab链接 有时间再补上

[shaohua-pan]

先放个作业地址https://github.com/shaohua-pan/openmmlab-hw

[syc-hjy]

在出差，先放个作业地址https://github.com/hjy-pan/openmmlab-hjy

[XJTUMatui]

大佬您好，很精彩的实战。我也在尝试耳穴识别，但是您发的耳朵穴位关键点检测数据集链接已过期，能否在文章更新下或私信发下新的下载链接，感谢！