请教 S3 对象存储多服务商、多机房、负载均衡、聚合管理的好方案

2019-09-11 15:01:52 +08:00
 perfectblog

如题所述,来 V2 吸取点指点和灵感。情况如下

①我们在国内多个地区有大量不同客户的嵌入式设备的 1M~200M 范围视频文件数据需要存储。

②目前使用了三四家不同的云服务商的 OSS/COS (非 AT 大厂),部分城市还有自建的 Ceph 集群。以 S3 接口进行存储。

③客户比较分散,网络状况各异,存储的机房也比较分散。我们希望尽可能使设备自动选择最快的服务商或者最近的城市节点的机房通过 S3 接口进行存储。

④我们希望可以通过一套管理后台,直接管理不同云服务商处的所有 OSS/COS。

目前考虑的问题

A. 嵌入式设备端的处理能力有限。如何能更合理的选择最快的上传地址。ping 延时不可能,因为 OSS 带宽和并发等原因可能会受限。靠中心化服务器来分配,中心化服务器难以判断终端连接哪个 OSS/COS 最快。

B.因为涉及到不同服务商的不同的 AK/SK,还有 endpoint。后台如何能很好的聚合显示管理这些文件。有没有好的开源方案。

谢谢各位大佬指点,或破一下冷水,或提供更好的解决方案

3046 次点击
所在节点    站长
3 条回复
jedrek
2019-09-11 17:18:27 +08:00
一般本土的对象存储服务比亚马逊国内的节点多,各地上传速度比 s3 更好。你这种情况使用 s3 可能并不是好的选择
akira
2019-09-11 17:37:57 +08:00
任何大规模体量的实际需求,都很难直接找到一个合适的开源的方案的。 赶紧招人开发吧。。
tomczhen
2019-09-11 17:55:21 +08:00
七牛当初只是想做个照片存储的产品,后面就变成做 CDN 了,了解一下。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/600032

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX