PaddlePaddle / PaddleDetection

Object Detection toolkit based on PaddlePaddle. It supports object detection, instance segmentation, multiple object tracking and real-time multi-person keypoint detection.
Apache License 2.0
12.6k stars 2.86k forks source link

请问pphuman的摔倒识别如何部署? #5920

Open ubikpkd opened 2 years ago

ubikpkd commented 2 years ago

目前的想法是通过paddle-serving部署。

paddle-serving部署时支持pipeline模式,可以通过定义op来进行多个模型的串联。

但是将模型转换为paddle-serving支持的模型时,目标检测与追踪的模型(pp-yoloe)输出包含两个结果,维度与关键点检测模型(HRNet)的输入并不匹配。并且最终需要通过stgcn来判断是否摔倒,而stgcn需要50帧图像才能判断。

请问有关于pp-human部署的教程吗?

提前感谢您的回答。

wangxinxin08 commented 2 years ago

你可以看下pp-human的代码找一下检测或者跟踪的结果是怎么处理成关键点所需要的输入的,可以参考下其中的实现

YixinKristy commented 2 years ago

您好,我是飞桨PaddleDetection的产品经理,为了进一步帮助您解决问题并且想深入了解您使用的情况,看是否方便添加我的微信交流呢?(微信号:18108656919)

ubikpkd commented 2 years ago

你可以看下pp-human的代码找一下检测或者跟踪的结果是怎么处理成关键点所需要的输入的,可以参考下其中的实现

您好,pphuman处理视频输入的时候,多目标追踪模型mot返回的输入格式是这样的 image

但是将对应模型转化为paddleserving能调用的模型后,对应的输出是这样的 image

用图片实际测试的结果如下: image

请问pphuman的mot模型的输出与paddle-serving转化模型输出的对应关系是?

ubikpkd commented 2 years ago

你可以看下pp-human的代码找一下检测或者跟踪的结果是怎么处理成关键点所需要的输入的,可以参考下其中的实现

您好,pphuman处理视频输入的时候,多目标追踪模型mot返回的输入格式是这样的 image

但是将对应模型转化为paddleserving能调用的模型后,对应的输出是这样的 image

用图片实际测试的结果如下: image

请问pphuman的mot模型的输出与paddle-serving转化模型输出的对应关系是?

paddle-serving的输出结果是class,score, bbox,但是预测结果不准确,原始模型能准确识别出图中的行人,serving模型识别的结果,置信度最高只有0.16

原始模型识别结果:

1f1ec00a45f3bd7bbc5f3951dc4a6dd

可视化: b94a6f70a271d4621c9bcbed1ec7b47

serving模型识别结果:

184f5e94fdb7da6a2c98828cbcdd1bc