在源图像中使用手工标记的关键点

hsk-yjk commented 1 year ago

HRZT)6TX)VRWJ3 7W}W4C4E 您好，非常感谢您开源代码。我的源图像是face_alignment识别不了他是一个人脸，所以我想使用手工标记关键点，实现这个任务。 1.我想问的是kp_source 中value和jacobian的联系 2.value值为{Tensor（1，15，2）} 为什么是15个点呢？ 3.jacobian值为{Tensor（1，15，2，2）} 为什么是这个输出呢？ 4我该如何使用手工标记的关键点替代此处的kp_source 非常感谢您！！！

harlanhong commented 1 year ago

Hi @hsk-yjk,

For others to understand better, I am replying you in English :) 1/ Mathematically, jacobian is the partial derivative of the point in the horizontal and vertical direction. But we estimate the jacobian by network instead of computing it by the keypoint.

2/ The number of keypoints is determined by our evaluation.

3/ Jacobian is the partial derivative of the point in the horizontal and vertical directions. Thus, it is a matrix with four elements.

4/ For your question, our DaGAN cannot support the manual keypoint, because the motion field is estimated by both the keypoint and its jacobian matrix. If you create the keypoint manually, you have to create its jacobian. However, we cannot know a keypoint's jacobian matrix even if the keypoint is given.

hsk-yjk commented 1 year ago

谢谢您的答复

------------------ 原始邮件 ------------------ 发件人: "Fa-Ting @.>; 发送时间: 2022年11月13日(星期天) 下午3:25 收件人: @.>; 抄送: "贺思凯 @.>; @.>; 主题: Re: [harlanhong/CVPR2022-DaGAN] 在源图像中使用手工标记的关键点 (Issue #53)

@.***,

为了让其他人更好地理解，我用英语回复你：） 1/ 在数学上，雅可比是点在水平和垂直方向的偏导数。但我们用网络来估计雅可比，而不是用关键点来计算雅可比。

2/ 关键点的数量由我们的评估决定。

3/雅可比是点在水平和垂直方向上的偏导数。因此，它是一个有四个元素的矩阵。

4/ 对于你的问题，我们的DaGAN不支持手动关键点，因为运动场是由关键点和它的雅可比矩阵估计的。如果你手动创建关键点，你必须创建它的雅可比。然而，即使给出了关键点，我们也不能知道关键点的雅可比矩阵。

— 直接回复此邮件，在GitHub上查看，或取消订阅. @.***与>.

harlanhong / CVPR2022-DaGAN

在源图像中使用手工标记的关键点 #53