linyiLYi / pose-monitor

“让爷康康”是一款手机 AI 应用程序,可以监测不良坐姿并进行语音提示
Apache License 2.0
2.53k stars 388 forks source link

使用后遇到的两个想讨论的点。 #7

Open hibobzz opened 1 year ago

hibobzz commented 1 year ago
  1. 画面有缺失的躯干,预测骨架是脑补的,一直抖动。
  2. 当出现多人的,预测只有一个人能显示,但是预测骨架会在几个人身上来回变。
linyiLYi commented 1 year ago
  1. 这个是目前姿态估计算法的普遍特点。对于人体被遮挡的部分,模型会基于训练集中的数据进行推测,比如“让爷康康”这个 App 你会发现翘二郎腿这个姿势的关键点就经常找错,尤其是翘起来的腿有遮挡情况的时候。这可能是因为 MoveNet 的姿态数据集中坐下的人翘二郎腿的没有正常坐着的人多,所以模型找不到腿的时候就自己下判断了。
  2. MoveNet Thunder 是一个单人模型,MoveNet Multipose 支持同时抓取多人姿态。针对像这样坐姿监测的手机 App 的话,我觉得先定位目标用户,然后只抓取用户的姿态是一个更好的思路,现在这个版本没有进行这一步处理。

大家也可以一起讨论~