search

Hao-Starrr / humanoid-arm-retarget

Humanoid robot arms retarget algorithm with VisionPro app
GNU General Public License v3.0
27 stars 1 forks source link

Vision Pro App Setting #2

Open kavinwkp opened 2 weeks ago

kavinwkp commented 2 weeks ago

感谢作者开源，请问只有设置Vision Pro APP的时候要用到苹果电脑，还是整个项目都只能用苹果电脑 另外支持其他类型头显吗，比如quest3

Hao-Starrr commented 2 weeks ago

只有给app编译安装的时候需要苹果电脑，安装好之后app不会变化，接收端python脚本可以跑在ubuntu或者windows上都可以。

linClubs commented 1 week ago

@kavinwkp 只需一个vision pro设备即可。使用美区账号，登录vision pro上，app store搜索Tracking Streamer即可安装。然后使用下面代码即可获取姿态：

from avp_stream import VisionProStreamer
avp_ip = "10.31.181.201"   # 换成和vision上的wifi显示的ip地址
s = VisionProStreamer(ip = avp_ip, record = True)
while True:
    r = s.latest
    print(r['head'], r['right_wrist'], r['right_fingers'])
Hao-Starrr commented 1 week ago

@linClubs 原版Tracking Streamer无法获得肘部的关节信息，可以按照repo代码在Tracking Streamer上修改然后编译运行。

linClubs commented 1 week ago

@Hao-Starrr 感谢您团队开源的项目。再请教一下,

 left_base:
  - [0, 0, 1, -1.35]
  - [0, 1, 0, 0]
  - [-1, 0, 0, -0.17]
  - [0, 0, 0, 1]

这个矩阵，表示VR的world系到机器人的手臂的参考系（也就是torso系）的变换么？我可视化了原生的r['right_wrist']是从地面建立的VR的world系。

Hao-Starrr commented 1 week ago

@Hao-Starrr 感谢您团队开源的项目。再请教一下,


 left_base:

  - [0, 0, 1, -1.35]

  - [0, 1, 0, 0]

  - [-1, 0, 0, -0.17]

  - [0, 0, 0, 1]

这个矩阵，表示VR的world系到机器人的手臂的参考系（也就是torso系）的变换么？我可视化了原生的r['right_wrist']是从地面建立的VR的world系。

r['right_wrist']是从地面建立的VR的world系。

表示VR world in left arm frame，也就是left arm frame 到 VR frame的变换。

kavinwkp commented 2 days ago

可以看到第一视角的图像吗