damngoto

有没有认识搞视频处理的大牛,有问题请教

  •  
  •   damngoto · Aug 23, 2020 via Android · 3186 views
    This topic created in 2263 days ago, the information mentioned may be changed or developed.
    对视频中的每一帧图片用深度神经网络进行处理, 然后对处理好的每一帧合成为新的视频
    现在的解法: 将图片加载到 GPU 显存, 然后用神经网络在 GPU 上进行处理, 对得到的处理结果, 移到内存, 用 CPU 进行后处理, 然后使用 opencv VideoWriter 指定 mp4v 编码写视频。
    遇到的问题: 用 opencv videoWriter 合并图片生成视频这步很慢, 且会消耗大量 cpu .

    有没有什么方法可以优化和加速这个流程:?
    5 replies  •  2020-08-23 15:38:50 +08:00
    ohao
    ohao
    Aug 23, 2020 via iPhone
    1
    不知道你是什么平台和硬件
    使用 intel 的 e-2288 处理器,使用编译 igpu,搭配 nvme 存储

    可以快不少
    使用处理器的 gpu 处理,cpu 占用资源很低

    你先使用 time,确认瓶颈在哪,然后折中针对性处理
    可以先 opencv vw 写内存在 gpu encoder 在写盘
    damngoto
    damngoto
    OP
    Aug 23, 2020 via Android
    2
    @ohao 谢谢回复,今天试试。
    fgodt
    fgodt
    Aug 23, 2020
    3
    路子错了 既然得到的结果在 gpu 根本不应该再回到 cpu,如果你用的 gpu 是 nVidia 的那么你可以直接用 nvenc 处理成 x264 这样就很快了
    icylogic
    icylogic
    Aug 23, 2020 via iPhone
    4
    你一定要回 cpu 吗,如果都是 opencv 的 api,可以看看 cv::cuda 能不能替代。或者编码用 avcodec 直接搞,有优化余地
    mcone
    mcone
    Aug 23, 2020
    5
    既然都已经在显存里面了,就别再回到 CPU 了,用一个支持 GPU 的库直接合完直接写入存储或者取回到内存应该会快很多了。
    另外同一楼,建议看看时间瓶颈在哪里,近两三年的 opencv 好像默认是支持 GPU 加速的,我怀疑是有硬盘 IO 了……如果确实是 IO 费时多,上 SSD 或 ramdisk 之类的会好很多
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5049 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 08:32 · PVG 16:32 · LAX 00:32 · JFK 03:32
    ♥ Do have faith in what you're doing.