有做过 AI 模型的老哥吗?图片识别模型,无法释放内存,无法做并发

130 天前
 q218946
https://github.com/PaddlePaddle/PaddleOCR/tree/main

PaddleOCR 模型,用于生产环境的图片识别
运行配置是 4080s 内存 32G i7

希望解决内存无法释放的问题和多线程同时识别图片的并发问题。
有懂行的老哥请联系我,愿意付费解决问题!
QGJhbmxhbmdlbjEyMQ==
1251 次点击
所在节点    程序员
7 条回复
meshell
130 天前
显卡识别是不是无法并行,以前部署 df 的时候生成图必须前面的生成完才可以生成后面的。让 AI 大佬给你个解决方案
q218946
130 天前
@meshell 对呀,本地部署后,跑起来也是遇到这个问题
patwww
130 天前
内存无法释放遇到过,我们是 3 个服务轮流定时重启解决,并发这个没遇到过。
sunjun
130 天前
内存无法释放是指加载的识别的图片的内存无法释放吗?
多线程同时识别,需要多启动几个实例可以实现
longredzzz
130 天前
内存无法释放可能是 paddle 的问题,可以考虑将 paddle 模型转化为 onnx 模型进行调用。
并发问题可以考虑同一时刻接受到的图片合并成 batch 一个然后推理,可以参考 https://docs.ray.io/en/latest/serve/advanced-guides/dyn-req-batch.html
pangglovedd
130 天前
内存无法释放是图片内存还是模型内存,你给的是 tg 号吗,微信搜不到,可以加我 v 讨论下
MTg5MTYzMzY2ODY=
sslzjx
129 天前
没用过 ocr,我用 paddleseg 和 paddledet 那些用 fastDeploy 可以多线程,我记得也是有例程的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1065181

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX