测试效果有些不佳，开始检测的时候总是检测不到物体，后面效果逐渐好转

liuyuan-pal / Gen6D

[ECCV2022] Gen6D: Generalizable Model-Free 6-DoF Object Pose Estimation from RGB Images

GNU General Public License v3.0

555 stars 71 forks source link

Open lucker26 opened 3 months ago

lucker26 commented 3 months ago

这是我的测试结果，不确定是哪一步出了问题

liuyuan-pal commented 3 months ago

你的reference image上下颠倒了。应该是处理输入视频的时候不正确的翻转了一下？你看看能不能手动翻转过来。

lucker26 commented 3 months ago

你的reference image上下颠倒了。应该是处理输入视频的时候不正确的翻转了一下？你看看能不能手动翻转过来。

哇！谢谢作者这么晚还回复，请问应该在哪里设置手动翻转，我运行所有程序的时候都没有加transpose这个参数

liuyuan-pal commented 3 months ago

liuyuan-pal commented 3 months ago

另外gen6d在这种clutter背景（前景背景颜色差不多），然后存在一定遮挡的情况下，可能是比较容易出错，没有那么robust。这里没有针对occlusion有任何设计哈

lucker26 commented 3 months ago

https://github.com/liuyuan-pal/Gen6D/blob/50aa71b2dbb3198772c025d54d0dd191a918982c/prepare.py#L28

有可能你是要flip一下

frame0 我prepare.py处理得到的参考图像是正常的没有翻转的，可是预测的时候选取的参考图像却是翻转的

liuyuan-pal commented 3 months ago

那就是你的z方向选错了，meta那个

lucker26 commented 3 months ago

那就是你的z方向选错了，meta那个

谢谢您的指导，我将z方向全部取反之后得到了正确的结果，但是我不明白为什么我的z会选反掉，我按照您的制作教程进行z 的选取我将图中z的值取反得到了正确的结果，但是为什么原先的取z会是反的呢

liuyuan-pal commented 3 months ago

因为那个fitting的normal可能是正的也可能是反的，你可以看看normal的图像，决定哪个方向是对的~

lucker26 commented 3 months ago

因为那个fitting的normal可能是正的也可能是反的，你可以看看normal的图像，决定哪个方向是对的~ 好的，z应该是垂直物体所在平面向下的，我选取的应该是对的吧。。。。

lucker26 commented 3 months ago

因为那个fitting的normal可能是正的也可能是反的，你可以看看normal的图像，决定哪个方向是对的~

我知道了，通过查找评论应该是法线取z的反