求助: 后端拿到视频流后对每帧图片进行画框处理, 处理完成后如何才能生成新的视频流?

[fzzff]

目前需要实现的大致逻辑是前端使用 webrtc 对屏幕进行录制并将录制视频流传至后端, 后端逐帧修改后生成新的视频流提供给其他程序使用。 如何把我后端处理完的每帧图片处理成 rtmp 视频流推送出去, 求大佬指点下给个思路

[hello2090]

其他的程序怎么收你怎么发呗，但你肯定要经过某个编码器编码成一种视频格式的哇，不然一秒 30 帧不压缩这么大数据量怎么传。

[fzzff]

@hello2090 你的意思是先将图片转为视频, 再由视频转为视频流吗? 前端那边推送过来的流是源源不断的, 是需要按规则处理成多段视频再合并成视频流吗

[hello2090]

没仔细看你是要 rtmp, rtmp 不是有开源的 client 库吗？ librtmp? 你按照他的 API 来不就好了。他至少是支持 h.264 的视频和 aac 的音频我记得。

你收到的是一帧，每秒 30 帧，把他传给编码器，编码器输出的放到 librtmp 的 API 里就行了。

当然你们要是一点音视频编码的 code 都没有，那是有点麻烦

[paopjian]

开源的不是有 yolo 处理视频么,看看他们怎么做的

[tangtang369]

如果只是一路还没啥问题，现在的硬件编码其实都一般