naurril / SUSTechPOINTS

3D Point Cloud Annotation Platform for Autonomous Driving
GNU General Public License v3.0
783 stars 206 forks source link

标注的kitti格式数据在OpenPCDet下训练报错: ValueError: Caught ValueError in DataLoader worker process 0. ValueError: need at least one array to stack #193

Open wanzghen0123 opened 2 months ago

wanzghen0123 commented 2 months ago

作者你好, 标注完成的KITTI格式数据,在OpenPCDet下训练报错. 而原始的kitti数据集没有问题. 报错信息如下: OpenPCDet/lib/python3.8/site-packages/torch/_utils.py", line 429, in reraise raise self.exc_type(msg) ValueError: Caught ValueError in DataLoader worker process 0. ... /OpenPCDet/lib/python3.8/site-packages/numpy/core/shape_base.py", line 460, in stack raise ValueError('need at least one array to stack') ValueError: need at least one array to stack 帮忙看一下? (就相当与重新标注了kitti数据,把json转换成txt标签)

naurril commented 2 months ago

是不是标注内容是空的?

wanzghen0123 commented 2 months ago

是不是标注内容是空的?

不是.作者你好,我现在遇到的问题是,在该标注工具下,标注的kitti格式的数据,在OpenPCDet框架下,训练centerpoint/pointpillar模型,需要将模型配置文件里面的参数: PREPARE: { filter_by_min_points: ['Car:0', 'Pedestrian:0', 'Cyclist:0'], filter_by_difficulty: [-1], }和 SAMPLE_GROUPS: ['Car:0','Pedestrian:0', 'Cyclist:0'] 都置0,才能训练.训练完成,各项指标均为0. 我的操作流程是: (1)将自采集数据转到kitti坐标系下(取一帧,然后复制100份) (2)在SUSTechPoint工具下打开该数据(bin文件的点云, 标定文件, 前视相机的图片),进行标注,然后将json的标签文件转为kitti所需的txt文件. (3)将此100帧数据同时作为训练集和测试集.在OpenPCDet框架下,进行kitti格式数据集划分. (4)进行训练 训练指标均为0. 同样的步骤,我直接拷贝的kitti数据集的000000.bin数据进行sustech工具的标注,然后划分数据集训练和测试,结果同上.(指标为0) 原始的kitti数据集则可以正常训练和测试,指标也是正常的. 不知道问题出在哪里???是不是,sustechpoint工具的kitti格式数据转换有问题,现在还在定位中.

naurril commented 2 months ago

标注工具带了kitti转sustechpoints格式的脚本,你把kitti格式的再转回来,看看对不对,不对的话转的kitti就有问题

On Tue, Apr 23, 2024, 17:33 wanzghen0123 @.***> wrote:

是不是标注内容是空的?

不是.作者你好,我现在遇到的问题是,在该标注工具下,标注的kitti格式的数据,在OpenPCDet框架下,训练centerpoint/pointpillar模型,需要将模型配置文件里面的参数: PREPARE: { filter_by_min_points: ['Car:0', 'Pedestrian:0', 'Cyclist:0'], filter_by_difficulty: [-1], }和 SAMPLE_GROUPS: ['Car:0','Pedestrian:0', 'Cyclist:0'] 都置0,才能训练.训练完成,各项指标均为0. 我的操作流程是: (1)将自采集数据转到kitti坐标系下(取一帧,然后复制100份) (2)在SUSTechPoint工具下打开该数据(bin文件的点云, 标定文件, 前视相机的图片),进行标注,然后将json的标签文件转为kitti所需的txt文件. (3)将此100帧数据同时作为训练集和测试集.在OpenPCDet框架下,进行kitti格式数据集划分. (4)进行训练 训练指标均为0. 同样的步骤,我直接拷贝的kitti数据集的000000.bin数据进行sustech工具的标注,然后划分数据集训练和测试,结果同上.(指标为0) 原始的kitti数据集则可以正常训练和测试,指标也是正常的. 不知道问题出在哪里???是不是,sustechpoint工具的kitti格式数据转换有问题,现在还在定位中.

— Reply to this email directly, view it on GitHub https://github.com/naurril/SUSTechPOINTS/issues/193#issuecomment-2071849030, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABZKCDVSYODLD2KSGR47XMLY6YTFLAVCNFSM6AAAAABGMVHSHOVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZRHA2DSMBTGA . You are receiving this because you commented.Message ID: @.***>

wanzghen0123 commented 2 months ago

作者你好。按照你的思路,我试了一下。目前发现问题出现在,txt标签里面的第2-8个值,这7个值我参考一个json转txt的工具,赋的依次是1、0、0、0、0、50、50,json标签里面好像也没有这些值。其他地方没有大的差别,也不影响训练和测试。请问是什么原因?

在 2024-04-23 20:41:48,Naurril @.***> 写道:

标注工具带了kitti转sustechpoints格式的脚本,你把kitti格式的再转回来,看看对不对,不对的话转的kitti就有问题

On Tue, Apr 23, 2024, 17:33 wanzghen0123 @.***> wrote:

是不是标注内容是空的?

不是.作者你好,我现在遇到的问题是,在该标注工具下,标注的kitti格式的数据,在OpenPCDet框架下,训练centerpoint/pointpillar模型,需要将模型配置文件里面的参数: PREPARE: { filter_by_min_points: ['Car:0', 'Pedestrian:0', 'Cyclist:0'], filter_by_difficulty: [-1], }和 SAMPLE_GROUPS: ['Car:0','Pedestrian:0', 'Cyclist:0'] 都置0,才能训练.训练完成,各项指标均为0. 我的操作流程是: (1)将自采集数据转到kitti坐标系下(取一帧,然后复制100份) (2)在SUSTechPoint工具下打开该数据(bin文件的点云, 标定文件, 前视相机的图片),进行标注,然后将json的标签文件转为kitti所需的txt文件. (3)将此100帧数据同时作为训练集和测试集.在OpenPCDet框架下,进行kitti格式数据集划分. (4)进行训练 训练指标均为0. 同样的步骤,我直接拷贝的kitti数据集的000000.bin数据进行sustech工具的标注,然后划分数据集训练和测试,结果同上.(指标为0) 原始的kitti数据集则可以正常训练和测试,指标也是正常的. 不知道问题出在哪里???是不是,sustechpoint工具的kitti格式数据转换有问题,现在还在定位中.

— Reply to this email directly, view it on GitHub https://github.com/naurril/SUSTechPOINTS/issues/193#issuecomment-2071849030, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABZKCDVSYODLD2KSGR47XMLY6YTFLAVCNFSM6AAAAABGMVHSHOVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZRHA2DSMBTGA . You are receiving this because you commented.Message ID: @.***>

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

wanzghen0123 commented 2 months ago

补充一下,我按照你提供的工具,把kitti数据转换成了sustech格式,在标注工具里面显示是没有问题。就是反向转的时候,上述7个值丢失,我改成了上述的样子,然后就是最上面的现象

在 2024-04-23 20:41:48,Naurril @.***> 写道:

标注工具带了kitti转sustechpoints格式的脚本,你把kitti格式的再转回来,看看对不对,不对的话转的kitti就有问题

On Tue, Apr 23, 2024, 17:33 wanzghen0123 @.***> wrote:

是不是标注内容是空的?

不是.作者你好,我现在遇到的问题是,在该标注工具下,标注的kitti格式的数据,在OpenPCDet框架下,训练centerpoint/pointpillar模型,需要将模型配置文件里面的参数: PREPARE: { filter_by_min_points: ['Car:0', 'Pedestrian:0', 'Cyclist:0'], filter_by_difficulty: [-1], }和 SAMPLE_GROUPS: ['Car:0','Pedestrian:0', 'Cyclist:0'] 都置0,才能训练.训练完成,各项指标均为0. 我的操作流程是: (1)将自采集数据转到kitti坐标系下(取一帧,然后复制100份) (2)在SUSTechPoint工具下打开该数据(bin文件的点云, 标定文件, 前视相机的图片),进行标注,然后将json的标签文件转为kitti所需的txt文件. (3)将此100帧数据同时作为训练集和测试集.在OpenPCDet框架下,进行kitti格式数据集划分. (4)进行训练 训练指标均为0. 同样的步骤,我直接拷贝的kitti数据集的000000.bin数据进行sustech工具的标注,然后划分数据集训练和测试,结果同上.(指标为0) 原始的kitti数据集则可以正常训练和测试,指标也是正常的. 不知道问题出在哪里???是不是,sustechpoint工具的kitti格式数据转换有问题,现在还在定位中.

— Reply to this email directly, view it on GitHub https://github.com/naurril/SUSTechPOINTS/issues/193#issuecomment-2071849030, or unsubscribe https://github.com/notifications/unsubscribe-auth/ABZKCDVSYODLD2KSGR47XMLY6YTFLAVCNFSM6AAAAABGMVHSHOVHI2DSMVQWIX3LMV43OSLTON2WKQ3PNVWWK3TUHMZDANZRHA2DSMBTGA . You are receiving this because you commented.Message ID: @.***>

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>