Hymwgk / PointNetGPD

PointNetGPD实验复现与注释
MIT License
79 stars 22 forks source link

当我运行kinect2grasp的时候,我注意到是kinect相机,我想修改成realsense相机,但是修改不对 #18

Closed xiaofeiso closed 1 year ago

xiaofeiso commented 1 year ago

我注意到cam_pos那里campos,=listener.lookupTransform('/ar_marker_6,kinect2_rgb_optical_frame')用的是kinect,我不知道如何修改,还有ar_marker_6指的是标定板吗。

Hymwgk commented 1 year ago

关于标定板可以看下这个https://github.com/Hymwgk/point_cloud_process

更换realsense相机只需要修改相应ros话题,我记得realsense也会发布相机坐标系tf

xiaofeiso commented 1 year ago

是kinect2grasp.py里面的listener.lookupTransform('/ar_marker_6',那里对吧,在这里修改相机坐标系?

---原始邮件--- 发件人: @.> 发送时间: 2023年3月4日(周六) 中午11:02 收件人: @.>; 抄送: @.**@.>; 主题: Re: [Hymwgk/PointNetGPD] 当我运行kinect2grasp的时候,我注意到是kinect相机,我想修改成realsense相机,但是修改不对 (Issue #18)

关于标定板可以看下这个https://github.com/Hymwgk/point_cloud_process

更换realsense相机只需要修改相应ros话题,我记得realsense也会发布相机坐标系tf

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

Hymwgk commented 1 year ago

是的

xiaofeiso commented 1 year ago

我打印了标定板,还有把kinect2_rgb_optical_frame修改成camera_color_optical_frame,我先启动了roslaunch realsense2_camera demo_pointcloud.launch发送了realsense的点云信息,打开rviz订阅话题,运行kinect2grasp.py后,发现标定板在点云图里什么也没有,终端一直停留在getting transform from kinect2 to table top。

xiaofeiso commented 1 year ago

从rostopic echo /tf_static可以看到相机的坐标,但看不到标定板的

Hymwgk commented 1 year ago

二维码标签ar_marker_6的 tf的发布是在https://github.com/Hymwgk/point_cloud_process 中实现的, 运行kinect2grasp.py之前需要先运行点云预处理节点,具体流程在此仓库readme “使用模型,执行抓取”一节中有提到 建议如果手头有kinect的话可以先跑通kinect的

Hymwgk commented 1 year ago

由于更换了相机,所以需要在预处理节点的代码https://github.com/Hymwgk/point_cloud_process/blob/4deb24169f004b660c9b8ae9da39634ab04d28a2/src/get_table_points.cpp#L55 中 做出更改并且重编译

以上只是一个粗浅的范围,具体实现到realsense上,可能需要做出另外一些具体修改

xiaofeiso commented 1 year ago

好的,谢谢,不过我运行roslaunch point_cloud_process get_table_top_points.launch后又出现Client [/ar_track_alvar] wants topic /camera/depth/color/points to have datatype/md5sum [sensor_msgs/Image/060021388200f6f0f447d0fcd9c64743], but our version has [sensor_msgs/PointCloud2/1158d486dd51d683ce2f1be655c3c181]. Dropping connection.和 "ar_marker_6" passed to lookupTransform argument target_frame does not exist. 错误。

Hymwgk commented 1 year ago

第一个似乎是格式没对应,具体得查查 第二个报错上的意思似乎是没找到父坐标系? 估计还是预处理cpp代码中没有修改到位,具体最好你一步步debug下,代码 https://github.com/Hymwgk/point_cloud_process/blob/4deb24169f004b660c9b8ae9da39634ab04d28a2/src/get_table_points.cpp#L41 中指定的标签父坐标系名称为"/kinect2_rgb_optical_frame" 这是kinect自带的,它需要改成realsense对应的名称。

xiaofeiso commented 1 year ago

谢谢,我的第一个问题解决了,在rviz里可以识别标定板了,不过第二个问题还是存在,我看看后面能不能解决

---原始邮件--- 发件人: @.> 发送时间: 2023年3月4日(周六) 晚上9:48 收件人: @.>; 抄送: @.**@.>; 主题: Re: [Hymwgk/PointNetGPD] 当我运行kinect2grasp的时候,我注意到是kinect相机,我想修改成realsense相机,但是修改不对 (Issue #18)

第一个似乎是格式没对应,具体得查查 第二个报错上的意思似乎是没找到父坐标系? 估计还是预处理cpp代码中没有修改到位,具体最好你一步步debug下,代码 https://github.com/Hymwgk/point_cloud_process/blob/4deb24169f004b660c9b8ae9da39634ab04d28a2/src/get_table_points.cpp#L41 中指定的标签父坐标系名称为"/kinect2_rgb_optical_frame" 这是kinect自带的,它需要改成realsense对应的名称。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

xiaofeiso commented 1 year ago

你好,我把程序跑通了,只不过运行roslaunch point_cloud_process get_table_top_points.launch后,直接点云没了,只能看到相机那里有点白色的点云,而桌子上的东西直接没了,请问下这大概是什么问题。

xiaofeiso commented 1 year ago

原来那些白色的东西就是去除后的点云图啊,只不过在rviz中去除桌面点云后点云图的方向和realsense相机的点云图方向不在一个方向,还有就是较小的目标好像无法识别。

xiaofeiso commented 1 year ago

感谢大佬,问题已解决,可以使用realsense相机检测抓取目标,不过还有一个小问题,请问以下清除点云时,距离桌面太低的会被消除,哪里可以调整呢?

Hymwgk commented 1 year ago

https://github.com/Hymwgk/point_cloud_process/blob/4deb24169f004b660c9b8ae9da39634ab04d28a2/config/prepocess_prarm.txt#L14

这一行以下的参数可以调整看看效果,如果效果还是不理想,就得改里面的算法了,建议可以看看PCL 然后自己修改下

xiaofeiso commented 1 year ago

好的,谢谢大佬了。

xmkkkkkk commented 1 year ago

我打印了标定板,还有把kinect2_rgb_optical_frame修改成camera_color_optical_frame,我先启动了roslaunch realsense2_camera demo_pointcloud.launch发送了realsense的点云信息,打开rviz订阅话题,运行kinect2grasp.py后,发现标定板在点云图里什么也没有,终端一直停留在getting transform from kinect2 to table top。

你好,我也是realsense相机,也遇到了同样的问题,终端一直停留在getting transform from kinect2 to table top,rviz里只是普通点云图,没有任何其他变化,请问您是怎么解决的呢?谢谢