V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
q218946
V2EX  ›  程序员

有做过 AI 模型的老哥吗?图片识别模型,无法释放内存,无法做并发

  •  
  •   q218946 · 34 天前 · 1107 次点击
    这是一个创建于 34 天前的主题,其中的信息可能已经有所发展或是发生改变。
    https://github.com/PaddlePaddle/PaddleOCR/tree/main

    PaddleOCR 模型,用于生产环境的图片识别
    运行配置是 4080s 内存 32G i7

    希望解决内存无法释放的问题和多线程同时识别图片的并发问题。
    有懂行的老哥请联系我,愿意付费解决问题!
    QGJhbmxhbmdlbjEyMQ==
    7 条回复    2024-08-16 17:39:36 +08:00
    meshell
        1
    meshell  
       34 天前
    显卡识别是不是无法并行,以前部署 df 的时候生成图必须前面的生成完才可以生成后面的。让 AI 大佬给你个解决方案
    q218946
        2
    q218946  
    OP
       34 天前
    @meshell 对呀,本地部署后,跑起来也是遇到这个问题
    patwww
        3
    patwww  
       34 天前
    内存无法释放遇到过,我们是 3 个服务轮流定时重启解决,并发这个没遇到过。
    sunjun
        4
    sunjun  
       34 天前
    内存无法释放是指加载的识别的图片的内存无法释放吗?
    多线程同时识别,需要多启动几个实例可以实现
    longredzzz
        5
    longredzzz  
       34 天前
    内存无法释放可能是 paddle 的问题,可以考虑将 paddle 模型转化为 onnx 模型进行调用。
    并发问题可以考虑同一时刻接受到的图片合并成 batch 一个然后推理,可以参考 https://docs.ray.io/en/latest/serve/advanced-guides/dyn-req-batch.html
    pangglovedd
        6
    pangglovedd  
       34 天前
    内存无法释放是图片内存还是模型内存,你给的是 tg 号吗,微信搜不到,可以加我 v 讨论下
    MTg5MTYzMzY2ODY=
    sslzjx
        7
    sslzjx  
       33 天前
    没用过 ocr,我用 paddleseg 和 paddledet 那些用 fastDeploy 可以多线程,我记得也是有例程的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4290 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 01:03 · PVG 09:03 · LAX 18:03 · JFK 21:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.