融合问题

[zzq123zz]

我想问下您在做完激光雷达和相机的标定工作之后，是否有在继续它们之间的融合以及目标检测的研究，这部分工作该如何开展呢？

[Brickzhuantou]

我想问下您在做完激光雷达和相机的标定工作之后，是否有在继续它们之间的融合以及目标检测的研究，这部分工作该如何开展呢？

后面因为有其他项目，没有在此工作基础上深入。 您如果想将传感器标定拓展到下游检测，建图，定位等任务，可以考虑在现有的检测，建图，定位等框架的基础上添加标定误差扰动，探究标定误差对这些下游任务精度的影响，然后设计通用的预训练或者联合训练方式来增强下游模块对标定误差的鲁棒性。您如果对传感器融合机制感兴趣，可以去调研最新的点云-图像融合检测算法或者从视觉-语言多模态融合的工作中寻找灵感。您如果想继续做单纯标定相关的工作，可以考虑更复杂的传感器配置下的标定研究，比如多相机联合标定，多相机与激光雷达，与毫米波雷达的标定。 以上是我个人见解，希望可以对您有所启发。

[zzq123zz]

嗯嗯好的，感谢您的回答。这里的标定，融合和目标检测是属于三个不同的任务吗，我们现在不是已经完成了激光雷达和相机之间的标定任务了吗，也就是求得了它们之间的变换矩阵，如果要实现后面的融合以及目标检测的话，是不是得先利用求得的变换矩阵来将点云转换到相机坐标系下？但是我发现现有的一些工作在实现激光雷达和相机的融合的时候，并没有前面的标定这个步骤，我现在的任务就是利用求得的变换矩阵对2维目标检测结果和3维目标检测结果进行融合，但是很难找到相关的文献

[Brickzhuantou]

嗯嗯好的，感谢您的回答。这里的标定，融合和目标检测是属于三个不同的任务吗，我们现在不是已经完成了激光雷达和相机之间的标定任务了吗，也就是求得了它们之间的变换矩阵，如果要实现后面的融合以及目标检测的话，是不是得先利用求得的变换矩阵来将点云转换到相机坐标系下？但是我发现现有的一些工作在实现激光雷达和相机的融合的时候，并没有前面的标定这个步骤，我现在的任务就是利用求得的变换矩阵对2维目标检测结果和3维目标检测结果进行融合，但是很难找到相关的文献

开源数据集一般会给出离线标定好的内外参，所以大部分做融合检测的工作会直接使用数据集给的外参去统一坐标系做融合；如果你的任务是对检测结果做后融合的话，可以参考一下apollo开源的感知融合方案，或者在感知融合相关的综述里面找一下早期的后融合方案相关论文。