search

airockchip / rknn-llm

Other
347 stars 29 forks source link

flask_server.py DEMO无法正常执行 #38

Closed westwind027 closed 4 months ago

westwind027 commented 4 months ago

使用1.0.1最新版本，RKNPU版本为0.9.6，C++例子正常运行。 python代码执行报错：

orangepi@orangepi5plus:~/Workspace/llm$ .venv/bin/python3 flask_server.py --target_platform rk3588 --rkllm_model_path ./qwen.rkllm =========init....=========== rkllm-runtime version: 1.0.1 E RKNN: [14:23:36.128] Cannot load clGetPlatformIDs! Segmentation fault (core dumped)

Xwmiss commented 4 months ago

看起来是直接通过python执行了flask_server.py，是否有按照build_rkllm_server_flask.sh的流程，把最新的librkllmrt.so放进当前目录的lib文件夹下？

此外，可以尝试在flask_server.py中把‘use_gpu’参数设置为False试试？

westwind027 commented 4 months ago

flask_server.py中把‘use_gpu’参数设置为False,可以正常启动。

=========init....=========== rkllm-runtime version: 1.0.1 RKLLM初始化成功！

我查了下目前板子上clinfo可以正常输出，但找不到libOpenCL.so, 是否是opencl的配置问题？

Xwmiss commented 4 months ago

之前的C++例子中，是否有开启GPU呢？

westwind027 commented 4 months ago

试了下 ln -s /usr/lib/aarch64-linux-gnu/libmali.so /usr/lib/aarch64-linux-gnu/libOpenCL.so ，然后再使用 ‘’use_gpu’=True, 就可以了

westwind027 commented 4 months ago

虽然可以运行了，但好像GPU还是没用起来，gpu_load.sh还是0。

image

按照之前的解释，正常是不会使用GPU的，这里GPU负载为0是否正常？

westwind027 commented 4 months ago

之前的C++例子中，是否有开启GPU呢？

C++的例子，没有开启GPU。 所以我理解这里开不开启GPU其实都不会真实使用到GPU

YanxingLiu commented 4 months ago

您好，我也遇到了相同的问题，但是我关闭了 gpu 启动 server 之后模型正确回答问题（c++ example 是可以正确回答的。）