在RK3568平台上实现RKYOLO模型部署过程中遇到的“Segmentation fault”问题？

MrMzl commented 1 year ago

环境

【FastDeploy版本】： fastdeploy-release-1.0.3
【编译命令】按照仓库提供的环境编译方式完成C++和Python环境的编译，编译日志见后面附件。
【系统平台】: Linux firefly 4.19.232 / Debian 10
【硬件】： RK3568J
【编译语言】： C++ & Python(3.7）

运行FastDeploy-release-1.0.3/examples/vision/detection/rkyolo/cpp中的demo

部署内容
- c++方式实现yolov5模型的部署(yolov5s_relu_tk2_RK356X_i8.rknn,该模型为转换后的模型)
- https://pan.baidu.com/s/1JDvgZnPWruSRNdhMO1oYkg 提取码: yy4w
操作流程
- 参考 https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/cn/faq/rknpu2/build.md 完成板端编译C++ SDK和Python SDK；
- 进入FastDeploy-release-1.0.3/examples/vision/detection/rkyolo/cpp文件夹中进行编译，参考链接:https://github.com/PaddlePaddle/FastDeploy/blob/develop/examples/vision/detection/rkyolo/cpp/README_CN.md 编译后的文件夹中内容如下:
- 编译日志:https://pan.baidu.com/s/1JDvgZnPWruSRNdhMO1oYkg 提取码: yy4w
- 进入FastDeploy-release-1.0.3/examples/vision/detection/rkyolo/cpp/build/install中执行如下命令: ./infer_rkyolo model/ images/000000014439.jpg
- 执行后不报错，提示“Segmentation fault”。

运行FastDeploy-release-1.0.3/examples/vision/detection/rkyolo/python中的demo

部署内容
- python方式实现yolov5模型的部署(yolov5s_relu_tk2_RK356X_i8.rknn,该模型为转换后的模型)
操作流程
- 参考 https://github.com/PaddlePaddle/FastDeploy/blob/develop/docs/cn/faq/rknpu2/build.md 完成板端编译C++ SDK和Python SDK；
- 进入FastDeploy-release-1.0.3/examples/vision/detection/rkyolo/python文件夹中进行推理，文件夹中文件如下
- 执行命令 python3 infer.py --model_file ./model/ --image 000000014439.jpg 后不报错，提示“Segmentation fault”，运行日志如下。

环境编译日志

https://pan.baidu.com/s/1R9kIj34-0qPdTK86uCnRMw 提取码: eeba

Zheng-Bicheng commented 1 year ago

开发者朋友你好,您给出的c++ demo的日志链接(提取码: yy4w)不对，请您检查一下。其次您这个模型是哪里提供的，rk官方提供的吗

MrMzl commented 1 year ago

郑工您好，下面是新上传的c++ demo日志链接：https://pan.baidu.com/s/1iCQDm2bCjcX25zuKSFKgvA 提取码：qhu0 另外，链接https://pan.baidu.com/s/1JDvgZnPWruSRNdhMO1oYkg 提取码: yy4w 中的模型为转换后的模型（参考链接https://github.com/airockchip/rknn_model_zoo/tree/main/models/CV/object_detection/yolo/RKNN_model_convert）

Zheng-Bicheng commented 1 year ago

郑工您好，下面是新上传的c++ demo日志链接：https://pan.baidu.com/s/1iCQDm2bCjcX25zuKSFKgvA 提取码：qhu0 另外，链接https://pan.baidu.com/s/1JDvgZnPWruSRNdhMO1oYkg 提取码: yy4w 中的模型为转换后的模型（参考链接https://github.com/airockchip/rknn_model_zoo/tree/main/models/CV/object_detection/yolo/RKNN_model_convert）

参考链接失效了

MrMzl commented 1 year ago

https://github.com/airockchip/rknn_model_zoo/tree/main/models/CV/object_detection/yolo/RKNN_model_convert

Zheng-Bicheng commented 1 year ago

你这个模型是自己的模型吗？RK官方放在百度网盘的模型你有测试过吗？

MrMzl commented 1 year ago

你这个模型是自己的模型吗？RK官方放在百度网盘的模型你有测试过吗？

这个模型是利用rk官方提供的转换脚本convert_yolo_ppyolo.sh和模型文件yolov5s_relu_tk2.pt进行转换得到的，配置文件及运行日志见链接: https://pan.baidu.com/s/1EBeEKC6ffppDdnV0YQ0Xxw 提取码: 4i2c 我刚才用官方提供的转换后的模型进行了重新测试，同样会出现相同的错误“Segmentation fault”，模型链接https://eyun.baidu.com/enterprise/share/link?cid=8272257679089781337&uk=2751701137&sid=202211118572878233#sharelink/path=%2Frknn_model_zoo%2Fmodels%2FCV%2Fobject_detection%2Fyolo%2Fyolov5%2Fdeploy_models%2Ftoolkit2%2Fmodel_cvt%2FRK356X&parent_path=%2FGPU

Zheng-Bicheng commented 1 year ago

你这个模型是自己的模型吗？RK官方放在百度网盘的模型你有测试过吗？

这个模型是利用rk官方提供的转换脚本convert_yolo_ppyolo.sh和模型文件yolov5s_relu_tk2.pt进行转换得到的，配置文件及运行日志见链接: https://pan.baidu.com/s/1EBeEKC6ffppDdnV0YQ0Xxw 提取码: 4i2c 我刚才用官方提供的转换后的模型进行了重新测试，同样会出现相同的错误“Segmentation fault”，模型链接https://eyun.baidu.com/enterprise/share/link?cid=8272257679089781337&uk=2751701137&sid=202211118572878233#sharelink/path=%2Frknn_model_zoo%2Fmodels%2FCV%2Fobject_detection%2Fyolo%2Fyolov5%2Fdeploy_models%2Ftoolkit2%2Fmodel_cvt%2FRK356X&parent_path=%2FGPU

输入以下命令，会出现什么结果呢?

ldd 你编译出来的程序

MrMzl commented 1 year ago

你这个模型是自己的模型吗？RK官方放在百度网盘的模型你有测试过吗？

这个模型是利用rk官方提供的转换脚本convert_yolo_ppyolo.sh和模型文件yolov5s_relu_tk2.pt进行转换得到的，配置文件及运行日志见链接: https://pan.baidu.com/s/1EBeEKC6ffppDdnV0YQ0Xxw 提取码: 4i2c 我刚才用官方提供的转换后的模型进行了重新测试，同样会出现相同的错误“Segmentation fault”，模型链接https://eyun.baidu.com/enterprise/share/link?cid=8272257679089781337&uk=2751701137&sid=202211118572878233#sharelink/path=%2Frknn_model_zoo%2Fmodels%2FCV%2Fobject_detection%2Fyolo%2Fyolov5%2Fdeploy_models%2Ftoolkit2%2Fmodel_cvt%2FRK356X&parent_path=%2FGPU

输入以下命令，会出现什么结果呢?
ldd 你编译出来的程序

firefly@firefly:~/FastDeploy-release-1.0.3/examples/vision/detection/rkyolo/cpp/build/install$ ldd infer_rkyolo linux-vdso.so.1 (0x0000007fbca8f000) libfastdeploy.so.1.0.3 => ./lib/libfastdeploy.so.1.0.3 (0x0000007fbbe82000) libonnxruntime.so.1.12.0 => ./lib/libonnxruntime.so.1.12.0 (0x0000007fbb0ec000) librknnrt.so => ./lib/librknnrt.so (0x0000007fbad74000) libopencv_dnn.so.3.4 => ./lib/libopencv_dnn.so.3.4 (0x0000007fba987000) libopencv_highgui.so.3.4 => ./lib/libopencv_highgui.so.3.4 (0x0000007fba96d000) libopencv_ml.so.3.4 => ./lib/libopencv_ml.so.3.4 (0x0000007fba8dd000) libopencv_objdetect.so.3.4 => ./lib/libopencv_objdetect.so.3.4 (0x0000007fba85b000) libopencv_shape.so.3.4 => ./lib/libopencv_shape.so.3.4 (0x0000007fba82c000) libopencv_stitching.so.3.4 => ./lib/libopencv_stitching.so.3.4 (0x0000007fba7be000) libopencv_superres.so.3.4 => ./lib/libopencv_superres.so.3.4 (0x0000007fba794000) libopencv_videostab.so.3.4 => ./lib/libopencv_videostab.so.3.4 (0x0000007fba751000) libpaddle2onnx.so.1.0.5 => ./lib/libpaddle2onnx.so.1.0.5 (0x0000007fba195000) libopencv_calib3d.so.3.4 => ./lib/libopencv_calib3d.so.3.4 (0x0000007fba08a000) libopencv_features2d.so.3.4 => ./lib/libopencv_features2d.so.3.4 (0x0000007fb9fe5000) libopencv_flann.so.3.4 => ./lib/libopencv_flann.so.3.4 (0x0000007fb9f81000) libopencv_photo.so.3.4 => ./lib/libopencv_photo.so.3.4 (0x0000007fb9eef000) libopencv_video.so.3.4 => ./lib/libopencv_video.so.3.4 (0x0000007fb9e9c000) libopencv_videoio.so.3.4 => ./lib/libopencv_videoio.so.3.4 (0x0000007fb9e5d000) libopencv_imgcodecs.so.3.4 => ./lib/libopencv_imgcodecs.so.3.4 (0x0000007fb9c95000) libopencv_imgproc.so.3.4 => ./lib/libopencv_imgproc.so.3.4 (0x0000007fb989a000) libopencv_core.so.3.4 => ./lib/libopencv_core.so.3.4 (0x0000007fb958d000) libstdc++.so.6 => /usr/lib/aarch64-linux-gnu/libstdc++.so.6 (0x0000007fb93e1000) libm.so.6 => /lib/aarch64-linux-gnu/libm.so.6 (0x0000007fb9324000) libgcc_s.so.1 => /lib/aarch64-linux-gnu/libgcc_s.so.1 (0x0000007fb9300000) libc.so.6 => /lib/aarch64-linux-gnu/libc.so.6 (0x0000007fb918e000) libdl.so.2 => /lib/aarch64-linux-gnu/libdl.so.2 (0x0000007fb917a000) librt.so.1 => /lib/aarch64-linux-gnu/librt.so.1 (0x0000007fb9162000) libpthread.so.0 => /lib/aarch64-linux-gnu/libpthread.so.0 (0x0000007fb9133000) /lib/ld-linux-aarch64.so.1 (0x0000007fbca61000) libz.so.1 => /lib/aarch64-linux-gnu/libz.so.1 (0x0000007fb9106000)

Zheng-Bicheng commented 1 year ago

我花点时间排查下是什么问题，我这边没有复现。不好意思，您稍等一下哈

Zheng-Bicheng commented 1 year ago

没有发现你这个情况，群里的网友也是用的这个模型，编译后能正常使用

Zheng-Bicheng commented 1 year ago

郑工您好，下面是新上传的c++ demo日志链接：https://pan.baidu.com/s/1iCQDm2bCjcX25zuKSFKgvA 提取码：qhu0 另外，链接https://pan.baidu.com/s/1JDvgZnPWruSRNdhMO1oYkg 提取码: yy4w 中的模型为转换后的模型（参考链接https://github.com/airockchip/rknn_model_zoo/tree/main/models/CV/object_detection/yolo/RKNN_model_convert）

找到Bug了，你这里执行的命令行，应该是 ./infer model_path image_path，而不是模型的文件夹

MrMzl commented 1 year ago

郑工您好，下面是新上传的c++ demo日志链接：https://pan.baidu.com/s/1iCQDm2bCjcX25zuKSFKgvA 提取码：qhu0 另外，链接https://pan.baidu.com/s/1JDvgZnPWruSRNdhMO1oYkg 提取码: yy4w 中的模型为转换后的模型（参考链接https://github.com/airockchip/rknn_model_zoo/tree/main/models/CV/object_detection/yolo/RKNN_model_convert）

找到Bug了，你这里执行的命令行，应该是 ./infer model_path image_path，而不是模型的文件夹

您好，郑工，按您这边的意见修改后能够正常推理（Python、C++均可），感谢您的指导。

PaddlePaddle / FastDeploy