halajun / VDO_SLAM

VDO-SLAM: A Visual Dynamic Object-aware SLAM System
Other
734 stars 113 forks source link

预处理-实例分割 #30

Open pengzhongcui opened 2 years ago

pengzhongcui commented 2 years ago

您好!我已经运行过您的demo了,想尝试使用其他的kitti数据,同时也会使用别的实例分割算法。因此我很好奇实例分割得到的rgb图怎么能存成物体是1,2,……,n的呢,根据掩膜的区域,以及区域中的颜色吗?如果能分享以下您的代码就好了。万分感谢!

halajun commented 2 years ago

@pengzhongcui. 如果是类似mask r-cnn的semantic instance segmentation方法,一般输出结果都有数字标签的,把这些数字标签存储成自己想要的格式就好了。比如我跑mask r-cnn的时候,就在后面输出数据的地方,加几行命令存成自己需要的标签矩阵(背景0或-1,其他物体按顺序标1,2,...,n)就好了。希望帮助到你。

heng94 commented 2 years ago

@halajun 您好,感谢您分享您的代码。我刚接触这块,想请教您,把mask 存成您说的这种形式有什么优点吗?另外一点,您有重新训练实例分割网络吗?比如mask rcnn,我发现在kitti数据集上的分割效果不怎么理想,想请教您是如何处理这个问题的。 谢谢~

theyunfeng commented 1 year ago

@pengzhongcui. 如果是类似mask r-cnn的semantic instance segmentation方法,一般输出结果都有数字标签的,把这些数字标签存储成自己想要的格式就好了。比如我跑mask r-cnn的时候,就在后面输出数据的地方,加几行命令存成自己需要的标签矩阵(背景0或-1,其他物体按顺序标1,2,...,n)就好了。希望帮助到你。

请问用了mask rcnn的话,整套slam系统还能保证实时性吗?据我所知maskrcnn本身实时性不好

Cai-RS commented 1 year ago

@pengzhongcui. 如果是类似mask r-cnn的semantic instance segmentation方法,一般输出结果都有数字标签的,把这些数字标签存储成自己想要的格式就好了。比如我跑mask r-cnn的时候,就在后面输出数据的地方,加几行命令存成自己需要的标签矩阵(背景0或-1,其他物体按顺序标1,2,...,n)就好了。希望帮助到你。

请问用了mask rcnn的话,整套slam系统还能保证实时性吗?据我所知maskrcnn本身实时性不好

你好,可能你还没仔细看论文吧?论文里面说了,实例分割和光流估计是线下进行的,也就是说先进行分割和光流计算,再把这些结果和对应的rbgd图输入系统进行处理。从论文给出的结论来看,不算分割和光流时都达不到10fps,如果再加上这俩只会更慢。当然整个系统没有并行处理,如果有并行,实时性可能会好一些。