海外如何自建 S3？

[chanlk]

公司的业务需要大量使用对象存储，目前在 AWS 的账单已经超过了 EC2 和流量了。

如果自建 S3 ，需要做哪些准备？(数据必须在美国)

我们公司的运维能力比较弱(我是开发)，没有相关人员驻扎在美国，需要尽可能小的降低运维成本。

目前了解到的软件是用 Minio ，其他硬件、机房、宽带等系列问题不太清楚要怎么弄。

PS: AWS 是真贵啊！

[qishua]

没看明白你的具体需求，是 s3 的费用很贵，还是说你们没用 s3 ，在 aws 上买的 ec2 ，然后自建 minio ，然后访问

[qishua]

要是只想换对象存储的话，推荐换阿里云 or 腾讯云的对象存储，费用差不多比 aws 便宜一半左右

[chanlk]

@qishua #1 用了 s3 ，但还是贵的，我们数据太多了，PB 级的

[aru]

先确定下你们的规模和现在的费用吧

可以换其他家的 s3 服务，可以便宜很多
https://www.backblaze.com/cloud-storage/pricing

自建你得先找个懂的人聊聊，然后招一个全职运维

[chanlk]

@qishua #2 已经有一部分迁移到甲骨文的云上，但还是贵，所以考虑自建了。

[qishua]

完全自建的话，则需要找下国内的供应商，租对应地域的 idc 服务器，这个费用和云厂商对比起来，并不会优惠更多。
你也可以考虑小的云厂商，ucloud 、金山云等等。

[qishua]

@chanlk 那你们需要招个全职 SRE 了，然后根据你们预算，来选择是否两地多活。
自建的话，可以找一些国内做出海业务 IDC 机房的厂商，租用他们的服务器，这样服务器的高可用 or IDC 的容灾管理交予他们了。你们只需要负责好服务器加服务器上面的业务即可。
两地多活，则推荐选择两个不同的 idc 供应商，彼此之间的通信通过专线打通。

[chanlk]

@aru 数据大概在 10PB ，费用大概一年要 100W+的 S3 费用吧(我们公司小哈)。

[chanlk]

@qishua #7 听你这么说感觉这事儿没那么简单

[wei2629]

多少 pb 啊。自建未必便宜，机房机架网络， 硬盘坏了要有人管， 还要备份。还必须专门培养团队，保证 sla 。 或者外包给 idc 的团队啥。最好还是 认真核算下 。

[qishua]

@chanlk 换到 ucloud 或者金山云吧，然后谈下折扣，费用一年应该能降到 30 万-50 万

[aggron]

不要自建，既然海外用户，用 cloudflare 的 R2 ，不收流量费，api 还没 s3 兼容（大部分）

[shiny]

自建 MinIO 吧，可靠性可以靠 replication

[humbass]

op ，要上 cdn ，aws 的 cdn 的叫 cloudfront ，价格只有 s3 的 1/4 - 1/5

[chanlk]

@wei2629 10PB 这样子

[chanlk]

@aggron 存的多，取的少，比例估计 10:1, 1TB 的数据只有 100GB 左右被用户召回

[blueswhisper]

楼主家这预算，多家云厂商比价吧。
100+w 的预算，最多招两个 sre 就没了， 还不算你自建的服务器成本。
不知道你们这个 s3 存储是干嘛的，如果是常见的静态资源场景，那么上 CDN 应该能帮你们挡掉大部分的费用。 写多读少的话，S3 不同等级的存储也用起来，业务上做些优化策略，也能省点钱。

[chanlk]

@blueswhisper 用户的视频数据哈，家用摄像机的。

[zsj1029334]

Ceph 集群，多种支持文件，对象都可以

[blueswhisper]

@chanlk 这种场景的话，你们这就类似于网盘逻辑了。是不是对应服务的定价太低了？或者说定价策略不太合理？

从楼主的预算推测，短期内你们也没有资源投入到底层存储的建设，这部分技术红利需要适当的投入才能吃到，开源确实有很多解决方案，但是要保证可用性，成本，性能都需要资源投入，不是随便找个开源软件部署下就可以的，否则出了问题一群人抓瞎，对你们的服务信誉打击是毁灭性的。那么你们只能从商业策略上，把这部分的成本通过合理的定价转移给用户。