使用Flask进行预测发生内存溢出

[se7enXF]

问题描述

1. 首先说一个段错误，在paddledet issue提出的。我将cuda换为10.0，cudnn7.5，推理没有错误了。但是这个段错误的的问题希望跟进一下。
2. Flask里使用paddle-gpu静态图推理，发现ram内存泄漏，gpu内存无问题。每调用一次请求，内存增加一点，直到内存满后被系统kill。使用paddle-cpu+flask无问题。不使用flask，循环调用无内存泄漏。
3. 模型初始化都在脚本开头，循环中只使用了class.predict，模型推理class是继承于paddlecls的predicter写的。

环境

系统：ubuntu 16.04 amd64 paddle版本：paddlepaddle-gpu==2.2.1 python: python3.7 flask: flask==2.0.2

感谢

PaddlePaddle框架训练和测试都很方便，我们在边缘段使用部署也很方便，非常感谢百度能分享供大家使用！感谢辛苦处理bug的大神们！

[se7enXF]

设置flask的参数app.run(threaded=False)后，内存不再溢出。

[ZhiluDing]

@se7enXF 想问下题主，我遇到和你一样的问题了，如果设置flask的参数app.run(threaded=False)后，如何去处理多客户端请求呢？把多线程关了，可能会有响应不及时的问题呀。

[se7enXF]

@ZhiluDing 我暂时使用的方法中，使用flask请求多只能等待。或者你可以看看PaddleServer，飞桨官方的网页服务。

[shopexdream]

设置flask的参数app.run(threaded=False)后，内存不再溢出。

请问如果使用uwsgi+flask如何设置这个app.run(threaded=False)呢，因为run这个是注释的，通过uwsgi跑的