airockchip / rknn_model_zoo

Apache License 2.0
1.05k stars 192 forks source link

请问一下能否适配一下yolov8-pose,对我们很有用,谢谢。 #97

Closed fangyynb closed 3 months ago

fangyynb commented 7 months ago

请问一下能否适配一下yolov8-pose,对我们很有用,谢谢。

fangyynb commented 7 months ago

现在导入yolov8onnx文件会导致转化失败

satisl commented 6 months ago

我们这边希望能够适配一下yolov8-obb

HaoranShivs commented 6 months ago

我正在尝试移植yolov8-pose,使用的是Ultralytics的预训练模型和手册里边所写的标准模型转化方式,转化过程没有报错。但是我遇到了问题,我模型最后出来结果的人体检测框和关键点出现按比例缩小(如缩小2-3倍),位置发生了漂移,与图中的人体和关键点不匹配,也出现了在图中均匀分散的冗余结果(如多了11倍的检测框)。但是所检测的关键点之间的关系确实正确的,即可以看出姿势的检测是对的。如下图。 R-C 我控制变量验证过,不是图片前处理和后处理的问题,这个可以保证。希望大佬们可以解决这个问题。

HaoranShivs commented 6 months ago

我正在尝试移植yolov8-pose,使用的是Ultralytics的预训练模型和手册里边所写的标准模型转化方式,转化过程没有报错。但是我遇到了问题,我模型最后出来结果的人体检测框和关键点出现按比例缩小(如缩小2-3倍),位置发生了漂移,与图中的人体和关键点不匹配,也出现了在图中均匀分散的冗余结果(如多了11倍的检测框)。但是所检测的关键点之间的关系确实正确的,即可以看出姿势的检测是对的。如下图。 R-C 我控制变量验证过,不是图片前处理和后处理的问题,这个可以保证。希望大佬们可以解决这个问题。

已解决,没仔细看文本,推理的数据要NHWC输入的,我搞成NCHW了/

Ascetu commented 5 months ago

我正在尝试移植yolov8-pose,使用的是Ultralytics的预训练模型和手册里边所写的标准模型转化方式,转化过程没有报错。但是我遇到了问题,我模型最后出来结果的人体检测框和关键点出现按比例缩小(如缩小2-3倍),位置发生了漂移,与图中的人体和关键点不匹配,也出现了在图中均匀分散的冗余结果(如多了11倍的检测框)。但是所检测的关键点之间的关系确实正确的,即可以看出姿势的检测是对的。如下图。 R-C 我控制变量验证过,不是图片前处理和后处理的问题,这个可以保证。希望大佬们可以解决这个问题。

已解决,没仔细看文本,推理的数据要NHWC输入的,我搞成NCHW了/

可以方便问一下您是怎么做转换的吗?我使用https://github.com/airockchip/ultralytics_yolov8.git对yolov8s-pose转换为onnx的时候,转换失败了,seg是可以成功的

HaoranShivs commented 5 months ago

可以方便问一下您是怎么做转换的吗?我使用https://github.com/airockchip/ultralytics_yolov8.git对yolov8s-pose转换为onnx的时候,转换失败了,seg是可以成功的

就使用ultralytics模型自带的一个export功能,详情看https://docs.ultralytics.com/tasks/pose/ 最右边有一栏export,看了就懂了。

AI-LLM2 commented 3 months ago

我正在尝试移植yolov8-pose,使用的是Ultralytics的预训练模型和手册里边所写的标准模型转化方式,转化过程没有报错。但是我遇到了问题,我模型最后出来结果的人体检测框和关键点出现按比例缩小(如缩小2-3倍),位置发生了漂移,与图中的人体和关键点不匹配,也出现了在图中均匀分散的冗余结果(如多了11倍的检测框)。但是所检测的关键点之间的关系确实正确的,即可以看出姿势的检测是对的。如下图。 R-C 我控制变量验证过,不是图片前处理和后处理的问题,这个可以保证。希望大佬们可以解决这个问题。

请问后处理的代码是参考哪里修改的。目前我想把yolov8 psoe移植到rv1126上面。

HaoranShivs commented 3 months ago

我正在尝试移植yolov8-pose,使用的是Ultralytics的预训练模型和手册里边所写的标准模型转化方式,转化过程没有报错。但是我遇到了问题,我模型最后出来结果的人体检测框和关键点出现按比例缩小(如缩小2-3倍),位置发生了漂移,与图中的人体和关键点不匹配,也出现了在图中均匀分散的冗余结果(如多了11倍的检测框)。但是所检测的关键点之间的关系确实正确的,即可以看出姿势的检测是对的。如下图。 R-C 我控制变量验证过,不是图片前处理和后处理的问题,这个可以保证。希望大佬们可以解决这个问题。

请问后处理的代码是参考哪里修改的。目前我想把yolov8 psoe移植到rv1126上面。

还是Ultralytics官方开源的后处理代码

AI-LLM2 commented 3 months ago

请问目前跑通的是rv1126还是rk3588?方便把这能跑通的代码发出来参考一下吗?

HaoranShivs commented 3 months ago

请问目前跑通的是rv1126还是rk3588?方便把这能跑通的代码发出来参考一下吗?

rk3566,不过和rk3588同款npu,就是少了3个核心。代码没必要发,Ultralytics官方开源的代码,你找找对应后处理代码的路径,import一下就行了

airockchip commented 3 months ago

v2.1.0已支持yolov8 pose及yolov8 obb

aodexiusi1997 commented 3 months ago

我正在尝试移植yolov8-pose,使用的是Ultralytics的预训练模型和手册里边所写的标准模型转化方式,转化过程没有报错。但是我遇到了问题,我模型最后出来结果的人体检测框和关键点出现按比例缩小(如缩小2-3倍),位置发生了漂移,与图中的人体和关键点不匹配,也出现了在图中均匀分散的冗余结果(如多了11倍的检测框)。但是所检测的关键点之间的关系确实正确的,即可以看出姿势的检测是对的。如下图。 R-C 我控制变量验证过,不是图片前处理和后处理的问题,这个可以保证。希望大佬们可以解决这个问题。

请问后处理的代码是参考哪里修改的。目前我想把yolov8 psoe移植到rv1126上面。

还是Ultralytics官方开源的后处理代码

大佬,你好,我现在 比较急需要移植一下v8-pose,请问你是在ultralytics剥离出的后处理代码吗?同时在导出onnx的时候有没有对侦测头进行拆分呢!?

HaoranShivs commented 3 months ago

嗯,和你想的一致发自我的平板-------- 原始邮件 --------发件人: aodexiusi1997 @.>日期: 2024年8月16日周五 中午11:03收件人: airockchip/rknn_model_zoo @.>抄送: Haoran Shi @.>, Comment @.>主 题: Re: [airockchip/rknn_model_zoo] 请问一下能否适配一下yolov8-pose,对我们很有用,谢谢。 (Issue #97)

我正在尝试移植yolov8-pose,使用的是Ultralytics的预训练模型和手册里边所写的标准模型转化方式,转化过程没有报错。但是我遇到了问题,我模型最后出来结果的人体检测框和关键点出现按比例缩小(如缩小2-3倍),位置发生了漂移,与图中的人体和关键点不匹配,也出现了在图中均匀分散的冗余结果(如多了11倍的检测框)。但是所检测的关键点之间的关系确实正确的,即可以看出姿势的检测是对的。如下图。 我控制变量验证过,不是图片前处理和后处理的问题,这个可以保证。希望大佬们可以解决这个问题。

请问后处理的代码是参考哪里修改的。目前我想把yolov8 psoe移植到rv1126上面。

还是Ultralytics官方开源的后处理代码

大佬,你好,我现在 比较急需要移植一下v8-pose,请问你是在ultralytics剥离出的后处理代码吗?同时在导出onnx的时候有没有对侦测头进行拆分呢!?

—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you commented.Message ID: @.***>

nw-wf commented 1 month ago

我正在尝试移植yolov8-pose,使用的是Ultralytics的预训练模型和手册里边所写的标准模型转化方式,转化过程没有报错。但是我遇到了问题,我模型最后出来结果的人体检测框和关键点出现按比例缩小(如缩小2-3倍),位置发生了漂移,与图中的人体和关键点不匹配,也出现了在图中均匀分散的冗余结果(如多了11倍的检测框)。但是所检测的关键点之间的关系确实正确的,即可以看出姿势的检测是对的。如下图。 R-C 我控制变量验证过,不是图片前处理和后处理的问题,这个可以保证。希望大佬们可以解决这个问题。

已解决,没仔细看文本,推理的数据要NHWC输入的,我搞成NCHW了/

多谢,我也是遇到相同的问题,然后终于解决了!!!