sophgo / sophon-demo

Other
239 stars 52 forks source link

YOLOv8 在SE5上推理结果异常 #16

Open Snowba1l opened 11 months ago

Snowba1l commented 11 months ago

问题描述:

  1. 使用官方的demo提供的BM1684的bmodel推理,yolov8s_int8_4b.bmodel 结果异常 1702370559793

  2. 参考demo转换自己的yolov8s模型推理异常 image image

gfwsbsbsb commented 11 months ago

无法复现。 yolov8接收的是图片文件夹,是否是因为改动代码导致的? 或者盒子的sdk版本太老,请提供更详细的信息,包括盒子sdk版本(使用bm_version命令查看),mlir版本、docker版本以及是否最新代码等。

Snowba1l commented 11 months ago

盒子sdk版本0.4.8 开发SDK版本v23.05.01 sophon-demo 版本sophon-demo_v0.1.6_f4d1abc_20230605 tpu-mlir 版本 tpu-mlir_v1.1.7-g30df2e3c-20230605

目前使用mlir工具链编译官方导出的动态batch,为batch为4的bmodel推理结果异常。 image

bmodel结果: 3 000000547383 dog zidane

onnx推理结果: zidane dog 000000547383 3

模型转换模型脚本链接: 链接:https://pan.baidu.com/s/1hrGLKVtLUVjoyuLkynZOgg?pwd=8uqf

gfwsbsbsb commented 10 months ago

量化效果不好时,首先确认fp32精度是否有问题,如果fp32精度都有问题,那就得看mlir转模型这一步是否有问题,目前yolov8的脚本应该在model_deploy时有加--test_input,比对通过的话精度基本上ok。 如果确认是int8量化带来的精度问题,可以参考sophon-demo/docs/Calibration_Guide.md 设置敏感层。