关于 oss 存储数据迁移到本地(搭建本地存储)

255 天前
 guochenglong

背景

我司去年在 oss 存储费用达到 100w+,公司觉得费用过高,期望在存储方面可以降本。

方案

目前团队定的方案是放弃 oss ,自己搭建一套本地存储。将 oss 数据迁移到本地,后续各个服务 oss 操作全部替换成操作本地存储。

存储服务:MinIO

问题

请教各位有什么建议和相关经验?

ps:我个人感觉自己实现存储风险很大,要考虑的东西很多,备份,容灾,带宽速度等。

3086 次点击
所在节点    程序员
53 条回复
xmumiffy
255 天前
回源 100Mbps 机械盘随便都能撑住。一百万费用储存量大概 2PB 左右,按照和 OSS 一样的安全性(仅阵列),半个机柜就够了
daimaosix
255 天前
楼主不介意可以联系我,给你提供 0.035/GB 的价格,按照归档存储的价格提供标准存储
ursash
255 天前
楼主,现在 Cloudera 提供线下部署对象存储的方法,有兴趣可以联系我,微信同号
https://docs.cloudera.com/cdp-private-cloud-base/7.1.8/ozone-storing-data/topics/ozone-config-https-endpoint.html
dayeye2006199
255 天前
贵司这个业务也挺猛的
trzzzz
255 天前
@guochenglong 可以试一下 seaweedfs
trzzzz
255 天前
还有一个方向,还在 oss 上,只不过可以把不常用的放入 [低频存储] 中。费用会降低,只是读取不方便
reeco
255 天前
加个冷数据归档功能就好了
yuzo555
255 天前
1PB 1 年 100w 这个价格,就算全是标准存储也贵了,公司商务可以去阿里腾讯华为百度这些大厂谈谈,绝对能压到更低。
GooMS
255 天前
你这个要求低,直接搞
defunct9
255 天前
刚好都弄过,oss 和 minio 以及 truenas 。你这个用生命周期扔冻桶里比较合适。自建风险太大。前面套 CDN 的话又涉及到带宽,没法弄,到处都是坑。
totopper312
255 天前
我知道有大厂对象存储用的也是 minio ,没有优化,还有一些用 ceph 的,还有一些基于 glusterfs 的,自研的很少,因为对象存储都是基于开源的,比较稳定,所以维护的人并不多,对象存储在云厂商里是比较挣钱的产品。
knives
255 天前
@guochenglong 我这边也做过类似的选型。

当时也测了一轮 Seaweedfs ,在各种场景下性能是好,但是纠删码功能基本残废,数据可靠性很差。能接受双副本/三副本的空间占用的话用 Seaweedfs 倒是没问题……
Ceph 传说运维成本高,对小文件也没有优化,Pass 了。
目前在部署 OZone ,还没开始测试。
8355
255 天前
其实是冷热桶问题,冷桶甚至可以存到网盘里用 api 对接,对实时性要求没那么高的话,热桶数据也不会太多,可以通过业务代码做文件做 cdn 预热,把可访问实时性转嫁给 cdn 。
vivisidea
255 天前
1000TB 的容量,1 本体+2 副本的话,需要 3000T 的磁盘,一台存储服务器按 8T * 12 = 96T 算,80%使用容量,至少需要 40 台,可以算下采购服务器要多少钱,搬迁之后多少年回本(还没算带宽、机架、运维等费用)
f6x
255 天前
自己买硬盘确实省钱. 其他可不一定省钱
daimaosix
255 天前
@8355 放网盘里...大哥你认真的嘛
ivmm
255 天前
咱们有阿里原厂团队来优化过存储价格么? 没有的话 微信 aGctY3V0ZQ== (已经 base64 加密)



可以帮助阿里云上存储降本,我们很多大型医院、某大型连锁摄影 P 图公司都是我们存储成本优化的客户案例
xiebinbin666
255 天前
缤纷云可以看看
cwei3790
255 天前
有兴趣用火山的吗
8355
255 天前
@daimaosix #36 阿里云盘,可以啊,速度也快,朋友公司他们是这样用的,关键看你对数据的可靠性要求,他们都是内部的一些办公文件存储有办公室 nas 做备份防止云盘线路故障,比较多就是一些 psd cad 文件,成本对比 oss 开销已经可以忽略不计了,他们是几十 TB 这种规模。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1024650

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX