关于多物体姿态估计的问题

[zhu-jiahe]

作者大大您好，感谢您的出色的工作！我想问一下代码里面能不能实现多物体姿态估计的问题？因为我看eval.py的指令都是单类别的姿态估计，比如这种指令python eval.py --cfg configs/gen6d_train.yaml --object_name genmop/tformer，而且单类姿态估计的效果也只能检测一个物体，能不能修改成在一张图像上能够检测多个相同实例的效果呢？比如您主页的效果

[liuyuan-pal]

你好，这里其实我是跑了多个gen6d的模型，每个模型检测其中一个，然后再合并在一起这样~

[zhu-jiahe]

您好，作者大大，就是您的项目目前只是实现了单目标姿态估计是吧，有没有什么方法能改成多目标的呢？我尝试从目标检测那改，有点麻烦，因为后面的视角选择和姿态细化都依赖这个目标检测器，您有尝试过吗？

[liuyuan-pal]

嗯嗯是的，这里只是单目标。如果是同一个物体的不同instance，那么可以考虑在检测器上检测多个框，分别送入selector和refiner；如果是不同的物体，我建议就是重复这个gen6d就行~

[zhu-jiahe]

你好，这里其实我是跑了多个gen6d的模型，每个模型检测其中一个，然后再合并在一起这样~

好的感谢，还有一个疑问，就是参考图片的标注，您的mask是手动标注生成的吗？我看您知识用了colmap来重建点云，参考图像和查询图像的mask您是怎么生成的呢？能否给详细说一下？非常感谢，之前我是手动标注生成的mask，但是训练出来的效果不好

[liuyuan-pal]

你好，这里其实我是跑了多个gen6d的模型，每个模型检测其中一个，然后再合并在一起这样~

好的感谢，还有一个疑问，就是参考图片的标注，您的mask是手动标注生成的吗？我看您知识用了colmap来重建点云，参考图像和查询图像的mask您是怎么生成的呢？能否给详细说一下？非常感谢，之前我是手动标注生成的mask，但是训练出来的效果不好

你可以考虑用SAM\rembg\carvekit之类的模型直接得到前景mask，可以考虑用物体点云投影过来的点作为种子点这样。

[zhu-jiahe]

嗯嗯是的，这里只是单目标。如果是同一个物体的不同instance，那么可以考虑在检测器上检测多个框，分别送入selector和refiner；如果是不同的物体，我建议就是重复这个gen6d就行~

你好，这里其实我是跑了多个gen6d的模型，每个模型检测其中一个，然后再合并在一起这样~

好的感谢，还有一个疑问，就是参考图片的标注，您的mask是手动标注生成的吗？我看您知识用了colmap来重建点云，参考图像和查询图像的mask您是怎么生成的呢？能否给详细说一下？非常感谢，之前我是手动标注生成的mask，但是训练出来的效果不好

你可以考虑用SAM\rembg\carvekit之类的模型直接得到前景mask，可以考虑用物体点云投影过来的点作为种子点这样。

[zhu-jiahe]

嗯嗯是的，这里只是单目标。如果是同一个物体的不同instance，那么可以考虑在检测器上检测多个框，分别送入selector和refiner；如果是不同的物体，我建议就是重复这个gen6d就行~

你好，这里其实我是跑了多个gen6d的模型，每个模型检测其中一个，然后再合并在一起这样~

好的感谢，还有一个疑问，就是参考图片的标注，您的mask是手动标注生成的吗？我看您知识用了colmap来重建点云，参考图像和查询图像的mask您是怎么生成的呢？能否给详细说一下？非常感谢，之前我是手动标注生成的mask，但是训练出来的效果不好

你可以考虑用SAM\rembg\carvekit之类的模型直接得到前景mask，可以考虑用物体点云投影过来的点作为种子点这样。

好的感谢