yolo系列多batch推理有误

[LorenzoSun-V]

---

温馨提示：根据社区不完全统计，按照模板提问，可以加快回复和解决问题的速度

---

环境

• 【FastDeploy版本】： release-v1.0.7
• 【编译命令】:

  cmake .. -DENABLE_ORT_BACKEND=ON \
       -DENABLE_PADDLE_BACKEND=ON \
       -DENABLE_OPENVINO_BACKEND=ON \
       -DENABLE_TRT_BACKEND=ON \
       -DWITH_GPU=ON \
       -DTRT_DIRECTORY=${Path/to/TensorRT} \
       -DCUDA_DIRECTORY=/usr/local/cuda \
       -DCMAKE_INSTALL_PREFIX=${PWD}/compiled_fastdeploy_sdk \
       -DENABLE_VISION=ON \
       -DOPENCV_DIRECTORY=${/usr/local/lib/cmake/opencv4}
  make -j12
  make install

• 【系统平台】: Linux x64(Ubuntu 22.04)
• 【硬件】： Nvidia GPU 3090， CUDA 11.8 CUDNN 8.3
• 【编译语言】： C++

问题日志及出现问题的操作流程

• 【yolo系列多batch推理有误】
• 问题详细描述：例如在使用yolov5.onnx(yolov8.onnx也尝试过了，是一样的问题)推理时，当同一个batch中，有一张图没有推理结果时，那张图之后的图即使有推理结果，推理结果也为空。例如一共有四张图片，当batch size = 1时，第0,2,3张有推理结果，第1张没有推理结果，结果正确。当batch size = 4时，仅有第0张有推理结果，第1,2,3均没有推理结果，结果与batch size=1时不一致，结果错误。 我的多batch推理代码：

  
  void Model::ProcessBatchImage(std::vector<cv::Mat>& batch_images, std::vector<fastdeploy::vision::DetectionResult>* batch_results){
  if (!model->BatchPredict(batch_images, batch_results)) {
      std::cerr << "Failed to predict batch." << std::endl;
      return;
  }
  batch_images.clear();
  batch_results->clear();
  }

void Model::InferImagesBatch(const std::vector& batch_files){ std::vector batch_images; std::vector batch_names; std::vector batch_results; batch_images.reserve(cfg.bs);

for (const auto& file_path : batch_files) {
    auto image = cv::imread(file_path);
    if (image.empty()) {
        std::cerr << "Failed to load image: " << file_path << std::endl;
        continue; // Skip this image and continue with the next
    }
    batch_images.push_back(image);
    if (batch_images.size() == cfg.bs)
        ProcessBatchImage(batch_images, &batch_results);
}

// 处理剩余的图片（如果有）
if (!batch_images.empty())
    ProcessBatchImage(batch_images, &batch_results);

}

更多代码可以参考：[https://github.com/LorenzoSun-V/LorenzoDeploy/tree/main/fd/src](https://github.com/LorenzoSun-V/LorenzoDeploy/tree/main/fd/src)中的model.cc，核心的就是`model->BatchPredict`这个代码。

[jia0511]

+1

[hhx518]

+1,尤其是第一张没有结果，其他的就没有结果了