paddle无法通过gpu推理离线部署包

[BigFace123]

请提出你的问题 Please ask your question

离线部署包启动后，只能通过cpu推理，无法通过gpu推理

驱动版本

cuda版本

cudnn版本

paddle.utils.run_check()

conda环境安装的包

packages in environment at /home/nicklin/miniconda3/envs/rt-detr: Name Version Build Channel _libgcc_mutex 0.1 main
_openmp_mutex 5.1 1_gnu
aiohttp 3.9.3 pypi_0 pypi aiosignal 1.3.1 pypi_0 pypi annotated-types 0.7.0 pypi_0 pypi anyio 4.2.0 py310h06a4308_0
asgiref 3.8.1 pypi_0 pypi astor 0.8.1 py310h06a4308_0
async-timeout 4.0.3 pypi_0 pypi asyncio-atexit 1.0.1 pypi_0 pypi attrs 23.2.0 pypi_0 pypi bce-python-sdk 0.9.17 pypi_0 pypi blas 1.0 mkl
bzip2 1.0.8 h5eee18b_6
ca-certificates 2024.3.11 h06a4308_0
cachetools 5.3.3 pypi_0 pypi certifi 2024.6.2 py310h06a4308_0
charset-normalizer 3.3.2 pypi_0 pypi click 8.1.7 pypi_0 pypi colorlog 6.8.2 pypi_0 pypi contourpy 1.2.1 pypi_0 pypi cssselect 1.2.0 pypi_0 pypi cssutils 2.11.1 pypi_0 pypi cuda-cudart 11.8.89 0 nvidia cuda-cupti 11.8.87 0 nvidia cuda-libraries 11.8.0 0 nvidia cuda-nvrtc 11.8.89 0 nvidia cuda-nvtx 11.8.86 0 nvidia cuda-runtime 11.8.0 0 nvidia cuda-version 12.5 3 nvidia cudnn 8.9.2.26 cuda12_0
cycler 0.12.1 pypi_0 pypi dataclasses-json 0.6.7 pypi_0 pypi decorator 5.1.1 pyhd3eb1b0_0
erniebot 0.5.8 pypi_0 pypi erniebot-agent 0.5.2 pypi_0 pypi et-xmlfile 1.1.0 pypi_0 pypi exceptiongroup 1.2.0 py310h06a4308_0
fastapi 0.110.0 pypi_0 pypi fastdeploy-python 0.0.0.2.6.0 pypi_0 pypi fastdeploy-tools 0.0.5 pypi_0 pypi fonttools 4.53.0 pypi_0 pypi freetype 2.12.1 h4a9f257_0
frozenlist 1.4.1 pypi_0 pypi future 1.0.0 pypi_0 pypi gputil 1.4.0 pypi_0 pypi greenlet 3.0.3 pypi_0 pypi h11 0.14.0 py310h06a4308_0
httpcore 1.0.2 py310h06a4308_0
httpx 0.26.0 py310h06a4308_0
idna 3.7 py310h06a4308_0
intel-openmp 2023.1.0 hdb19cb5_46306
jinja2 3.1.3 pypi_0 pypi jpeg 9e h5eee18b_1
jsonpatch 1.33 pypi_0 pypi jsonpointer 3.0.0 pypi_0 pypi jsonschema 4.22.0 pypi_0 pypi jsonschema-path 0.3.3 pypi_0 pypi jsonschema-specifications 2023.12.1 pypi_0 pypi kiwisolver 1.4.5 pypi_0 pypi langchain 0.2.6 pypi_0 pypi langchain-community 0.2.6 pypi_0 pypi langchain-core 0.2.11 pypi_0 pypi langchain-text-splitters 0.2.2 pypi_0 pypi langsmith 0.1.83 pypi_0 pypi lazy-object-proxy 1.10.0 pypi_0 pypi lcms2 2.12 h3be6417_0
ld_impl_linux-64 2.38 h1181459_1
lerc 3.0 h295c915_0
libabseil 20240116.2 cxx17_h6a678d5_0
libcublas 11.11.3.6 0 nvidia libcufft 10.9.0.58 0 nvidia libcufile 1.10.0.4 0 nvidia libcurand 10.3.6.39 0 nvidia libcusolver 11.4.1.48 0 nvidia libcusparse 11.7.5.86 0 nvidia libdeflate 1.17 h5eee18b_1
libffi 3.4.4 h6a678d5_1
libgcc-ng 11.2.0 h1234567_1
libgomp 11.2.0 h1234567_1
libnpp 11.8.0.86 0 nvidia libnvjpeg 11.9.0.86 0 nvidia libpng 1.6.39 h5eee18b_0
libprotobuf 4.25.3 he621ea3_0
libstdcxx-ng 11.2.0 h1234567_1
libtiff 4.5.1 h6a678d5_0
libuuid 1.41.5 h5eee18b_0
libwebp-base 1.3.2 h5eee18b_0
lxml 5.2.2 pypi_0 pypi lz4-c 1.9.4 h6a678d5_1
markupsafe 2.1.5 pypi_0 pypi marshmallow 3.21.3 pypi_0 pypi matplotlib 3.9.1 pypi_0 pypi mkl 2023.1.0 h213fc3f_46344
mkl-service 2.4.0 py310h5eee18b_1
mkl_fft 1.3.8 py310h5eee18b_0
mkl_random 1.2.4 py310hdb19cb5_0
more-itertools 10.3.0 pypi_0 pypi multidict 6.0.5 pypi_0 pypi mypy-extensions 1.0.0 pypi_0 pypi nccl 2.21.5.1 ha515578_0
ncurses 6.4 h6a678d5_0
networkx 3.3 py310h06a4308_0
numpy 1.26.4 py310h5f9d8c6_0
numpy-base 1.26.4 py310hb5e798b_0
openapi-schema-validator 0.6.2 pypi_0 pypi openapi-spec-validator 0.7.1 pypi_0 pypi opencv-python 4.10.0.84 pypi_0 pypi openjpeg 2.4.0 h9ca470c_1
openpyxl 3.1.5 pypi_0 pypi openssl 3.0.14 h5eee18b_0
opt_einsum 3.3.0 pyhd3eb1b0_1
orjson 3.10.6 pypi_0 pypi packaging 24.1 pypi_0 pypi paddlepaddle-cuda 11.8 many_linux paddle paddlepaddle-gpu 3.0.0b0 py310_gpu_cuda11.8_many_linux paddle pandas 2.2.2 pypi_0 pypi pathable 0.4.3 pypi_0 pypi pillow 9.5.0 pypi_0 pypi pip 24.0 py310h06a4308_0
premailer 3.10.0 pypi_0 pypi protobuf 4.25.3 py310h12ddb61_0
pycocotools 2.0.8 pypi_0 pypi pycryptodome 3.20.0 pypi_0 pypi pydantic 2.6.3 pypi_0 pypi pydantic-core 2.16.3 pypi_0 pypi pymupdf 1.24.7 pypi_0 pypi pymupdfb 1.24.6 pypi_0 pypi pyparsing 3.1.2 pypi_0 pypi python 3.10.14 h955ad1f_1
python-dateutil 2.9.0.post0 pypi_0 pypi pytz 2024.1 pypi_0 pypi pyyaml 6.0.1 pypi_0 pypi readline 8.2 h5eee18b_0
referencing 0.35.1 pypi_0 pypi requests 2.32.3 pypi_0 pypi rfc3339-validator 0.1.4 pypi_0 pypi rpds-py 0.18.1 pypi_0 pypi setuptools 69.5.1 py310h06a4308_0
shapely 2.0.4 pypi_0 pypi six 1.16.0 pypi_0 pypi sniffio 1.3.0 py310h06a4308_0
sqlalchemy 2.0.31 pypi_0 pypi sqlite 3.45.3 h5eee18b_0
starlette 0.36.3 pypi_0 pypi tbb 2021.8.0 hdb19cb5_0
tenacity 8.5.0 pypi_0 pypi tk 8.6.14 h39e8969_0
tqdm 4.66.4 pypi_0 pypi typing-extensions 4.10.0 pypi_0 pypi typing-inspect 0.9.0 pypi_0 pypi tzdata 2024.1 pypi_0 pypi urllib3 2.2.2 pypi_0 pypi uvicorn 0.28.0 pypi_0 pypi wheel 0.43.0 py310h06a4308_0
xz 5.4.6 h5eee18b_1
yarl 1.9.4 pypi_0 pypi zlib 1.2.13 h5eee18b_1
zstd 1.5.5 hc292b87_2

模型导出配置

启动server.py

[wangguan1995]

这边可以先用paddle推理替代吗？

[BigFace123]

这边可以先用paddle推理替代吗？

什么意思，是直接在paddle里面跑模型，不用离线部署包提供的脚本吗

[wangguan1995]

可以先参考https://www.paddlepaddle.org.cn/documentation/docs/zh/2.6/guides/advanced/model_to_onnx_cn.html#id1 替代fastdeploy