V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
fzzff
V2EX  ›  程序员

求助: 后端拿到视频流后对每帧图片进行画框处理, 处理完成后如何才能生成新的视频流?

  •  
  •   fzzff · Nov 9, 2023 · 1623 views
    This topic created in 907 days ago, the information mentioned may be changed or developed.

    目前需要实现的大致逻辑是前端使用 webrtc 对屏幕进行录制并将录制视频流传至后端, 后端逐帧修改后生成新的视频流提供给其他程序使用。 如何把我后端处理完的每帧图片处理成 rtmp 视频流推送出去, 求大佬指点下给个思路

    5 replies    2023-11-09 17:57:21 +08:00
    hello2090
        1
    hello2090  
       Nov 9, 2023
    其他的程序怎么收你怎么发呗,但你肯定要经过某个编码器编码成一种视频格式的哇,不然一秒 30 帧不压缩这么大数据量怎么传。
    fzzff
        2
    fzzff  
    OP
       Nov 9, 2023
    @hello2090 你的意思是先将图片转为视频, 再由视频转为视频流吗? 前端那边推送过来的流是源源不断的, 是需要按规则处理成多段视频再合并成视频流吗
    hello2090
        3
    hello2090  
       Nov 9, 2023 via iPhone
    没仔细看你是要 rtmp, rtmp 不是有开源的 client 库吗? librtmp? 你按照他的 API 来不就好了。他至少是支持 h.264 的视频和 aac 的音频我记得。

    你收到的是一帧,每秒 30 帧,把他传给编码器,编码器输出的放到 librtmp 的 API 里就行了。

    当然你们要是一点音视频编码的 code 都没有,那是有点麻烦
    paopjian
        4
    paopjian  
       Nov 9, 2023
    开源的不是有 yolo 处理视频么,看看他们怎么做的
    tangtang369
        5
    tangtang369  
       Nov 9, 2023
    如果只是一路还没啥问题,现在的硬件编码其实都一般
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2498 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 09:59 · PVG 17:59 · LAX 02:59 · JFK 05:59
    ♥ Do have faith in what you're doing.