flask_server.py DEMO无法正常执行

[westwind027]

使用1.0.1最新版本，RKNPU版本为0.9.6，C++例子正常运行。 python代码执行报错：

orangepi@orangepi5plus:~/Workspace/llm$ .venv/bin/python3 flask_server.py --target_platform rk3588 --rkllm_model_path ./qwen.rkllm =========init....=========== rkllm-runtime version: 1.0.1 E RKNN: [14:23:36.128] Cannot load clGetPlatformIDs! Segmentation fault (core dumped)

[Xwmiss]

看起来是直接通过python执行了flask_server.py，是否有按照build_rkllm_server_flask.sh的流程，把最新的librkllmrt.so放进当前目录的lib文件夹下？

此外，可以尝试在flask_server.py中把‘use_gpu’参数设置为False试试？

[westwind027]

flask_server.py中把‘use_gpu’参数设置为False,可以正常启动。

=========init....=========== rkllm-runtime version: 1.0.1 RKLLM初始化成功！

• Serving Flask app 'flask_server'
• Debug mode: off WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
• Running on all addresses (0.0.0.0)
• Running on http://127.0.0.1:8080
• Running on http://192.168.180.71:8080 Press CTRL+C to quit

---

我查了下目前板子上clinfo可以正常输出，但找不到libOpenCL.so, 是否是opencl的配置问题？

[Xwmiss]

之前的C++例子中，是否有开启GPU呢？

[westwind027]

试了下 ln -s /usr/lib/aarch64-linux-gnu/libmali.so /usr/lib/aarch64-linux-gnu/libOpenCL.so ，然后再使用 ‘’use_gpu’=True, 就可以了

[westwind027]

虽然可以运行了，但好像GPU还是没用起来，gpu_load.sh还是0。

按照之前的解释，正常是不会使用GPU的，这里GPU负载为0是否正常？

[westwind027]

之前的C++例子中，是否有开启GPU呢？

C++的例子，没有开启GPU。 所以我理解这里开不开启GPU其实都不会真实使用到GPU

[YanxingLiu]

您好，我也遇到了相同的问题，但是我关闭了 gpu 启动 server 之后模型正确回答问题（c++ example 是可以正确回答的。）