Mid360适配 - Githubissues

lddnb commented 5 months ago

您好，我在使用Fast-Livo运行你们提供的数据包 hku1.bag 时感觉效果十分惊艳，但当我尝试自己使用Mid360采集数据运行时发现达不到这种效果，下面是一些基本信息

硬件：Livox Mid360 + Flir Blackfly S BFS-U3-50S5C + STM32F103C8T6 + Jetson Orin nano
同步方案：https://github.com/sheng00125/LIV_handhold （其中，自行修改了GPRMC数据的发送部分，使其能通过Mid360的校验，并仿照其中的海康驱动在Flir的ros驱动中添加了共享内存的那部分代码）
算法：Fast-Livo（其中，修改了 avia_handler 函数，使得Mid360的数据也能读取）
配置参数：

feature_extract_enable : 0
point_filter_num : 1  # 原始为2
max_iteration : 10
dense_map_enable : 1
filter_size_surf : 0.15
filter_size_map : 0.3
cube_side_length : 20
debug : 0
grid_size : 40
patch_size : 8
img_enable : 1
lidar_enable : 1
outlier_threshold : 300 # 78 100 156
ncc_en: false
ncc_thre: 0
img_point_cov : 100 # 1000
laser_point_cov : 0.001 # 0.001
cam_fx: 448.97505
cam_fy: 448.9212
cam_cx: 313.9853
cam_cy: 264.3433

common:
    lid_topic:  "/livox/lidar"
    imu_topic:  "/livox/imu"

preprocess:
    lidar_type: 1 # Livox Avia LiDAR
    scan_line: 4 # 原始为6
    blind: 0.5 # 原始为5

mapping:
    acc_cov_scale: 100
    gyr_cov_scale: 10000
    # 改成Mid360参数
    fov_degree:    360
    extrinsic_T: [ -0.011, -0.02329, 0.04412 ]
    extrinsic_R: [ 1, 0, 0,
                   0, 1, 0,
                   0, 0, 1]

camera:
    img_topic: /camera_array/cam0/image_raw
    # 相机与雷达标定后的参数 T_cam2lidar
    Rcl: [-0.02243, -0.99956, -0.01923,
         0.42635, 0.00784, -0.90452,
          0.90428, -0.02849, 0.42599]
    Pcl: [-0.03746, -0.10140, -0.04724]

感觉着色效果不是很理想，后面我尝试不加任何VO算法，直接拿图像帧对应的雷达帧位姿和标定参数做投影，拼起来的着色点云效果都比Fast-Livo的效果好，下面是一些对比 Fast-Livo： fast-livo1 fast-livo2 fast-livo3

仅用图像帧对应的雷达帧位姿和标定参数做投影： original1 original2 original3

也尝试过修改不同参数，但效果始终不太好，不知道使用Mid360想获得较好的效果还应该作何调整，期待您的回复～

xuankuzcr commented 5 months ago

hi 感谢关注！我已经把 https://github.com/sheng00125/LIV_handhold 中的同步方案更新，之前有一些bug，您可以重新烧一下stm32的固件。另外您之前采集的bag可以发给我，我测试一下看看有什么问题。

lddnb commented 5 months ago

感谢回复！ STM32的GPRMC信号发送部分我之前自己修改过，和您更新的内容差不多图示场景bag的Google Drive链接我已发送到了您的邮箱zhengcr@connect.hku.hk，并附上了当时测试时使用的配置文件、标定文件和launch启动文件，如果还需要什么数据，或发现什么问题，请联系我祝好

xuankuzcr commented 5 months ago

我测试了下，外参貌似在pitch角上有点问题，可以稍微注意下。同步也没什么问题，但应该是错开了一帧，相机的时间戳应该+0.1s，可以在callback函数里面实现。以下是我测试的截图和raw point的pcd文件。如果现在开源的avia/mid360+camera的同步方案您在测试中发现了什么问题，麻烦您和我同步一下~ rviz_screenshot_2024_05_31-16_06_39