search

zhanglonghao1992 / One-Shot_Free-View_Neural_Talking_Head_Synthesis

Pytorch implementation of paper "One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing"
Other
735 stars 141 forks source link

请问keypoint信息怎么单独保存呀 #66

Open yanheng01 opened 1 year ago

yanheng01 commented 1 year ago

大佬您好，请问检测到的关键点怎么单独保存呀，关键点只出现在keypoint_detecotr.py中吗，我想计算一下压缩率嘞

sky24h commented 1 year ago

如果你想保存的是kp_driving['value'], 它只是一个[n, 15, 3]的tensor, 你可以保存为.pt或者转换成np.array -> .npy

yanheng01 commented 1 year ago

如果你想保存的是kp_driving['value'], 它只是一个[n, 15, 3]的tensor, 你可以保存为.pt或者转换成np.array -> .npy

你好呀，感谢解答！就是论文中说的是keypoint传递的信息，每次是3K + 6个字节（以float16存储）。K是keypoint的点数，6是旋转和迁移的大小。我看了kp_driving['value']是一个3K的tensor，这里传递的旋转和迁移量的6在哪里呀。主要是这里不明白

sky24h commented 1 year ago

如果你想保存的是kp_driving['value'], 它只是一个[n, 15, 3]的tensor, 你可以保存为.pt或者转换成np.array -> .npy

你好呀，感谢解答！就是论文中说的是keypoint传递的信息，每次是3K + 6个字节（以float16存储）。K是keypoint的点数，6是旋转和迁移的大小。我看了kp_driving['value']是一个3K的tensor，这里传递的旋转和迁移量的6在哪里呀。主要是这里不明白

不好意思, 这我就不太清楚了, 以下按照我理解的范围来回答. 首先, 要向repo的作者确认, 是否严格按照论文来写的计算, 因为此repo的作者并非论文作者, 也许有出入. 其次, 有关rotation和translation的计算应该在这附近几行, 但我得不出对此问题确切的结论. https://github.com/zhanglonghao1992/One-Shot_Free-View_Neural_Talking_Head_Synthesis/blob/9511d25a841a5680a1d5d248d89b086c24b00e88/demo.py#L165

yanheng01 commented 1 year ago

好滴，非常感谢您的解答！