用 S3/minio 同步远程文件的最佳实践是什么?

2022-02-16 11:43:54 +08:00
 phpfpm

我们目前做直播录播的时候,有一些视频文件服务商直接存在 cdn 上面,形如

http://www.example.com/replay/20220101-001/replay.m3u8

这个直播的回放视频,里面带的 slice 是相对路径

0001.ts
0002.ts

实际的存放地址在

http://www.example.com/replay/20220101-001/0001.ts
http://www.example.com/replay/20220101-001/0002.ts

总之,我需要获取 m3u8+ts ,做后期的剪裁拼接。

现在专门有一台机器做存储,部署了 minio

那么如何把远程的文件下载到 minio 里面?

现有方案:

在 minio 的服务器启动了一个下载服务 aria2 ,通过接口奖数据直接灌到对应的文件夹,用 minio 检查数据是不是 ready

改进方案:

不再依赖 aria2 ,业务机器直接下载文件内容之后,putObject 到 minio

想问下各位大佬有啥好的解决方案吗?

我觉得我的核心需求是,希望 minio/s3 的 api 支持一个 putObject from url 但是如果这个不支持,就得我自己手动实现了。

1148 次点击
所在节点    问与答
2 条回复
defunct9
2022-02-16 14:13:26 +08:00
手动写个不就行了。又不复杂
phpfpm
2022-02-16 14:53:51 +08:00
@defunct9 嗯。。那就方案 2+重试策略吧 感觉也不麻烦

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/834185

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX