Bin-ze / BEVFormer_segmentation_detection

Implemented BEVFormer support for BEV segmentation
Apache License 2.0
88 stars 7 forks source link

有几个问题想请教一下 #5

Closed axxx-xxxa closed 11 months ago

axxx-xxxa commented 1 year ago
  1. bevformer和bevfusion的seg分支输出结果是一个分割结果,这个分割结果的gt是怎么来的呢?
  2. 该分割结果与maptr hdmap vectormap中的类似语义地图输出之间的区别您是怎么理解的?
  3. 我这边实际的场景是4个鱼眼camera覆盖bev视角,和这些模型的6camera不同,想要达到构建语义地图/分割地图的效果,用什么方案比较合适呢?
Bin-ze commented 1 year ago
  1. 分割结果的gt从nusence数据集的地图拓展中获得,具体的实现参照hdmapnet代码,其将地图拓展中标注的矢量地图转换为分割图,并根据感知范围进行裁剪。
  2. 该分割结果是分割图,可以理解为栅格图。而hdmap, vectormap中的地图为矢量图,当前的预测结果不能转换为矢量图,参照hdmapnet中的方案的话,需要预测实例分割以及方向才可以将分割图转换为矢量图。矢量图拥有更多的优点,它大大减少了存储占用,因为只需要保存车道线的位置矢量。
  3. 如果数据格式与nesence数据集类似,那么几个摄像头并不太重要。关键在于你对与BEV Feature的定义,在进行BEV特征构建的时候,如何使用相机捕获的特征。
axxx-xxxa commented 1 year ago

感谢回复 再请问您两个问题:

  1. 我目前使用的是ros框架 录制的是4camera+lidar 以及已有lidar2ego camera2ego ego2global(tf) 那么我已有的这些已经足够运行pred了吗
  2. 我看到nuscenes是以token对齐数据,我这边只能以时间戳来对齐数据。那么我是将我的数据和nuscenes格式对齐合理,还是重写nuscenes_map_dataset.py合理?
Bin-ze commented 1 year ago
  1. 你可以查看dataset中输入的参数是哪些,根据这些参数来确定是否可以运行pred,还有就是bevformer在进行时间注意力建模的时候,为了更好的对齐前一帧的特征,似乎使用了can bus的信息,不确定这里会不会有影响,但是我认为稍作修改就可以使用
  2. 如果你要训练自己的数据,两种方式应该都可以,这取决于你是想在训练前处理数据格式(这样就不需要修改代码),还是重新实现一个dataset用于处理自己的数据集
handsomeZhuang commented 12 months ago
  1. 你可以查看dataset中输入的参数是哪些,根据这些参数来确定是否可以运行pred,还有就是bevformer在进行时间注意力建模的时候,为了更好的对齐前一帧的特征,似乎使用了can bus的信息,不确定这里会不会有影响,但是我认为稍作修改就可以使用
  2. 如果你要训练自己的数据,两种方式应该都可以,这取决于你是想在训练前处理数据格式(这样就不需要修改代码),还是重新实现一个dataset用于处理自己的数据集

我追问一个问题:目前的数据集时以车为中心布设的摄像头【方案1】,我们这边的数据集是四周布设摄像头,而且摄像头相对位置是变化【方案2】,这个可以达到与方案1 的效果嘛?

handsomeZhuang commented 11 months ago
  1. 分割结果的gt从nusence数据集的地图拓展中获得,具体的实现参照hdmapnet代码,其将地图拓展中标注的矢量地图转换为分割图,并根据感知范围进行裁剪。
  2. 该分割结果是分割图,可以理解为栅格图。而hdmap, vectormap中的地图为矢量图,当前的预测结果不能转换为矢量图,参照hdmapnet中的方案的话,需要预测实例分割以及方向才可以将分割图转换为矢量图。矢量图拥有更多的优点,它大大减少了存储占用,因为只需要保存车道线的位置矢量。
  3. 如果数据格式与nesence数据集类似,那么几个摄像头并不太重要。关键在于你对与BEV Feature的定义,在进行BEV特征构建的时候,如何使用相机捕获的特征。

希望大佬完善一下这个工程,docs和README对代码不匹配,代码中有很多小问题:比如:固定路径,一些开关配置设计,对于新手不是很友好!再次感谢!

chovyqw commented 11 months ago

大佬,我测试单分割的效果很差,像miou只有0.05,是因为什么,有测试过那个单分割的效果和我一样吗

Bin-ze commented 11 months ago

大佬,我测试单分割的效果很差,像miou只有0.05,是因为什么,有测试过那个单分割的效果和我一样吗

我的所有测试结果都在readme里列出了,没有出现miou这么低的情况,建议你检查一下是不是checkpoint跟config不匹配