ERROR:root:failed to import ujson, using json instead

[yzyMichael]

Checklist:

1. 查找历史相关issue寻求解答
2. 翻阅FAQ常见问题汇总和答疑
3. 确认bug是否在新版本里还未修复
4. 翻阅PaddleX 部署文档说明

描述问题

使用 aistudio 训练自定义数据集时， 报数据格式不正确，失败日志提示：failed to import ujson, using json instead

When using aistudio to train a custom dataset, the data format is incorrect and a failure log prompt appears:“failed to import ujson, using json instead”

复现

1. c++部署方式

   • 您是否按照文档教程已经正常运行我们提供的demo？

   • 您是否在demo基础上修改代码内容？还请您提供运行的代码

2. c#部署方式

   • 您是否按照文档教程已经正常运行我们提供的demo？ 是的（YES）
   • 您是否在demo基础上修改代码内容？还请您提供运行的代码 是的（YES）
   • 如果c# demo无法正常运行，c++ demo是否已经正常运行？ demo运行正常 (demo running success)

3. 您使用的模型和数据集是？ 使用的模型：PaddleX: instance_segmentation_module 数据集：test_express_dataset alias ：express_dataset 数据切分 训练集占比:80%,验证集占比20% trail 80% val：20%

4. 请提供您出现的报错信息及相关log

2024-10-21 10:10:58,300 - pp-pipeline-exec - INFO - u-13199720-pp-p-5642d2aa258f-tt-5ec3c6719ba4 2024-10-21 10:10:58,300 - pp-pipeline-exec - INFO - 执行命令：python /home/aistudio/template_pipelines/general_instance_segmentation_pipeline/instance_segmentation_module/main.py --mode check_dataset --dataset_dir /home/aistudio/data --output_dir /home/aistudio/output --dst_dataset_name express_dataset --model_name Mask-RT-DETR-H --split True --split_train_percent 80 --split_val_percent 20 2024-10-21 10:10:59,548 - pp-pipeline-exec - INFO - ERROR:root:failed to import ujson, using json instead Traceback (most recent call last): File "/home/aistudio/template_pipelines/general_instance_segmentation_pipeline/instance_segmentation_module/base/engine.py", line 31, in wrap func(self, *args, **kwargs) File "/home/aistudio/template_pipelines/general_instance_segmentation_pipeline/instance_segmentation_module/base/engine.py", line 66, in run self.run_dataset_check() File "/home/aistudio/template_pipelines/general_instance_segmentation_pipeline/instance_segmentation_module/base/engine.py", line 108, in run_dataset_check self.dataset_checker() File "/home/aistudio/template_pipelines/general_instance_segmentation_pipeline/instance_segmentation_module/base/dataset_checker/dataset_checker.py", line 29, in call dataset_dir = self.get_dataset_root(self.args.dataset_dir) File "/home/aistudio/template_pipelines/general_instance_segmentation_pipeline/instance_segmentation_module/base/dataset_checker/dataset_checker.py", line 67, in get_dataset_root assert len(dataset_dir) == 1 AssertionError

环境

1. 如果您使用的是python部署方式，请提供您使用的PaddlePaddle、PaddleX版本号、Python版本号 aistudio paddlex instance_segmentation_module
2. 如果您使用的是c++或c#部署方式，请提供您使用的PaddleX分支、推理引擎（例如PaddleInference）版本号 最新版本 new version
3. 请提供您使用的操作系统信息，如Linux/Windows/MacOS aistudio
4. 请问您使用的CUDA/cuDNN的版本号是？ N/A

[cuicheng01]

可以提供下详细的流程吗？

[yzyMichael]

模型产线：面单图像分割进行到“数据准备”阶段的“格式效验”步骤中报报错 模型aistudio地址：https://aistudio.baidu.com/pipeline/step/p-5642d2aa258f 数据集地址：https://aistudio.baidu.com/datasetdetail/299557 数据集在本地CPU机器上使用PaddleX中的 check_dataset 模型效验成功

[cuicheng01]

上传平台的时候是怎么打包的呢？数据集有多大呢？

[yzyMichael]

zip格式包，数据集16.2M

[changdazhou]

建议打tar包尝试一下哈