endink / Mediapipe4u-plugin

379 stars 52 forks source link

请问用新版插件的角色双脚为什么会随机跳变?UI上方有红色线怎么去掉呢? #81

Closed hyc88988898 closed 1 year ago

hyc88988898 commented 1 year ago

MediaPipe4U 版本

M4U_UE5_1_20230628

UnrealEngine 版本

5.1.x

UnrealEngine 类型

Launcher

问题类型

运行错误

错误详细描述

请问用新版插件的角色双脚为什么会随机跳变?UI上方有红色线怎么去掉呢?项目末期,期盼解决。 QQ图片20230711155910

https://github.com/endink/Mediapipe4u-plugin/assets/134036282/fb2a1292-7222-4240-b273-07e39e7ec133

endink commented 1 year ago
  1. 红色线条是指的红色方框?那是 google mediapipe 的 roi 绘制,我在外部无法控制,除非修改 google 代码,你可以试试更改绘制风格 Holistic 组件上的 Annotation 样式 (OverlayAnnotationsVideoDisplay 这两个属性),或者干脆不显示追踪线条。

    参考: https://opensource.labijie.com/Mediapipe4u-plugin/mocap/quick_start/texture_display.html

  2. 脚会跳动原因很多,关注这些点:

    • 算解评分阈值(大概率是这个原因,你如果需要全身动补建议评分设置为 0, 默认 0.5 )
    • 是否校准了一个错误的姿势(你的场景可能需要关闭姿势校准,参考这个文档
    • 建议开启脊柱旋转模式稳定脚踝
    • 你如果不需要弯腰,可以锁定 body 旋转轴,例如,禁止 pitch (Pose Solver 节点上的 UpperBodyLock 属性)
endink commented 1 year ago

需要注意,Overlay 如果使用 Holistic 帧率会下降 5~6 帧,默认是 Pose Tracker ,几乎不会影响帧率

hyc88988898 commented 1 year ago

把overlay annotations改成holistic tracking后UI里的红线消失了。请问算解评分阈值是在哪里调?

hyc88988898 commented 1 year ago

改了角色蓝图里MediaPipe Pose Solver的alpha和smooth值为0没有效果

endink commented 1 year ago

阅读文档啊

endink commented 1 year ago

就是 MinPoseScoreThresh, 关闭姿态校准,禁用 fix Mediapipe 试试

hyc88988898 commented 1 year ago

禁用fix Mediapipe 就好了,多谢大佬

endink commented 1 year ago

Mark 一下 fix mediapipe 存在 bug

hyc88988898 commented 1 year ago

请问手离身体近的话手会跑身体里,这个目前有办法避免吗?

endink commented 1 year ago

All fixed in new version