search

PaddlePaddle / PaddleOCR

Awesome multilingual OCR toolkits based on PaddlePaddle (practical ultra lightweight OCR system, support 80+ languages recognition, provide data annotation and synthesis tools, support training and deployment among server, mobile, embedded and IoT devices)
https://paddlepaddle.github.io/PaddleOCR/
Apache License 2.0
43.91k stars 7.8k forks source link

模型常驻问题 #187

Closed zhangmianhongni closed 3 years ago

zhangmianhongni commented 4 years ago

我现在使用Flask自己起一个服务，把ch_det_r50_vd_db和ch_rec_r34_vd_crnn 2个模型初始化常驻在内存，本身这2个模型模型文件也就200M左右，但是常驻内存占了大概有7G的内存，请问正常嘛？有没什么办法释放，常驻的原因是加快推理速度，不用每次请求都重新初始化模型

yanyubing666 commented 4 years ago

一样的遇到这个问题,我还是用的超轻量模型(加起来8M，预测batch设置的64),找了很多，starkflow里面其他模型也遇到过这类问题，但是都没找到一个好的解决方案

Matiz7 commented 4 years ago

import paddlehub as hub ocr = hub.Module(name="chinese_ocr_db_crnn") 问一下使用这个超轻量模型时怎么指定模型路径，以避免每次初始化时都下载 因为环境特殊，每次都清零，我想把模型目录和代码放在一起部署进去

MichaelLiu-TJ commented 4 years ago

我这一样，windows没问题，但是linux问题很严重，单进程占了7G

littletomatodonkey commented 3 years ago

可以试下最新的移动端模型，使用2.0rc的paddle