TB 级小文件备份方案

2020-05-04 18:09:41 +08:00
 daimaosix

服务器存放了大概 50T 的小文件数据,并且在不断增长中,目前想把这些数据备份到国内网盘上,但好像没有合适的增量备份方案,不知道各位有其他想法吗?

4008 次点击
所在节点    问与答
33 条回复
alexkkaa
2020-05-04 18:20:26 +08:00
国内网盘? gdrive 他不香吗
daimaosix
2020-05-04 18:23:14 +08:00
@alexkkaa 服务器都在国内,gdrive 用不了啊
superrichman
2020-05-04 18:24:24 +08:00
妈耶 50t 数据,你还是买几块硬盘备份比较靠谱。
alexkkaa
2020-05-04 18:27:56 +08:00
@daimaosix 可以挂个代理试试
daimaosix
2020-05-04 18:29:19 +08:00
@superrichman emmmm,硬盘要买好几块...而且主要是本地的网络不行,备份太慢了
daimaosix
2020-05-04 18:49:17 +08:00
@alexkkaa 太慢了老哥,50T 真不知道要备份到什么时间了....
renmu
2020-05-04 19:00:02 +08:00
看看国内哪家对象存储有解决方案,网盘应该是解决不了你的问题了
yuzo555
2020-05-04 19:02:38 +08:00
还是存到对象存储吧。

新文件主动上传(或使用提供的 API 远程抓取)到对象存储,部分服务商(七牛、腾讯)提供镜像存储功能,如果新文件上传后一定会被访问,也可以设置镜像存储来同步新文件。
老文件使用他们提供的迁移工具慢慢迁移咯。
AntonChen
2020-05-04 19:03:39 +08:00
阿里云 oss 归档存储
aver4vex
2020-05-04 19:08:44 +08:00
文件加密,名字都改成番号,群发各种 bt 论坛。
GoLand
2020-05-04 20:00:56 +08:00
https://juicefs.com/

jfs 了解一下,比较靠谱。
a719114136
2020-05-04 20:05:04 +08:00
个人还是公司的,公司的话可以考虑 hdfs 以及其他分布式文件系统。
个人的话还是多买一个硬盘每天定时拷贝吧
Mai1me
2020-05-04 20:21:45 +08:00
50t 数据 用 国内 网盘备份
应该是家里有矿了。
SingeeKing
2020-05-04 20:29:21 +08:00
国内几乎唯一靠谱的方式是买硬盘做 RAID5 或者 RAID10,要不然就不考虑成本去买阿里腾讯的归档存储

国外的话,短时间 G Suite (自己买,不是白嫖)无限容量足够
daimaosix
2020-05-04 20:43:52 +08:00
@GoLand 没看明白这个是干啥的老哥
daimaosix
2020-05-04 20:45:45 +08:00
@GoLand 共享文件系统,如果存储用的都是第三方云厂商的,怎么看他定价还有一个自己的存储定价,专业版 0.13/GiB/月
efaun
2020-05-04 20:49:30 +08:00
冷备份或者磁带备份成本低又有保障
flynaj
2020-05-04 21:53:32 +08:00
50t 一套 6t 硬盘就要 10 个。没有哪家的网盘这么大吧
isnullstring
2020-05-04 21:57:07 +08:00
直接买硬盘备份不好么,备份恢复速度又快
价格也比任意云存便宜
huihuilang
2020-05-04 22:23:26 +08:00
用 115 吧,淘宝 1tb 充值打折才 10 块钱。。。50tb 也就几百块钱的事情。。。另外本地再搞个冷备份吧

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/668488

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX