两块 NVMe 固态, ECC 内存的独立服务器,上 ZFS 存数据可靠性会更高么?

2022-06-20 16:56:56 +08:00
 dfgxcvbcv
因为服务对 CPU 性能的要求越来越高,上了两台 Hetzner 的 AX51-NVMe 来降低成本(配置都是 AMD R7-3700X 家用 CPU 两条三星 32GBECC 内存 两块三星 1TB NVMe 固态),目前两块硬盘是用自带的系统安装脚本组的软 RAID1 。听说用 ZFS 数据可靠性更高,请问 V 友有必要换么?(服务都在 PVE 虚拟机中,数据非常重要,目前已有每天凌晨同步 S3 桶备份,每周全量离线备份)
3832 次点击
所在节点    云计算
15 条回复
powergx
2022-06-20 16:58:53 +08:00
ecc 就可以了,用了十几年 zfs 了
dfgxcvbcv
2022-06-20 17:00:48 +08:00
@powergx #1 所以我在问有没有必要上 ZFS (没弄过不会太会弄,而且服务已经上线了,有活跃用户不敢乱来)
geekvcn
2022-06-20 17:09:43 +08:00
PVE 内核就支持 ZFS 啊,ZFS 内存缓存策略很激进,会占用更多内存,主要是快照功能好用,安全靠的是 Raid 和定期异地或云备份
dfgxcvbcv
2022-06-20 17:14:38 +08:00
@geekvcn #3 我服务已经在运行了,有办法在不关 VM (可以短时间休眠)的情况下上 ZFS 么?目前两台服务器内存都有 10GB 没有分配给 VM ,给 ZFS 用不知道够不够。
dfgxcvbcv
2022-06-20 17:16:39 +08:00
@geekvcn #3 RAID 和异地备份我们都做了,但很难做到实时备份,哪怕只丢 1 分钟数据,如果这 1 分钟用户上传了作品被我们丢了肯定会被用户骂。
geekvcn
2022-06-20 17:35:25 +08:00
@dfgxcvbcv ZFS 一般 1T 存储最好留 1G 内存,越大越好,换 ZFS 只要操作硬盘,不需要关机休眠,前提是你 VM 磁盘镜像不是在你要操作的硬盘上
mchong
2022-06-20 17:36:51 +08:00
你这非常重要的数据还用民用 ssd ?
dfgxcvbcv
2022-06-20 17:38:22 +08:00
@geekvcn 那内存够,我只有两块 1TB NVMe 。但是宿主机系统和 VM 的磁盘镜像都在这个准备操作的硬盘上。
dfgxcvbcv
2022-06-20 17:39:08 +08:00
@mchong #7 Hetzner 只有提供这种 SSD ,我换不了
geekvcn
2022-06-20 17:40:29 +08:00
@dfgxcvbcv 我觉得带用户上传的还是用云服务的对象存储吧,就是成本比较高,但可靠性不是自建能比的,毕竟人家资源池大
geekvcn
2022-06-20 17:42:11 +08:00
@dfgxcvbcv 你是为了安全换 ZFS 毫无意义,但是为了 ZFS 的部分特性换才有必要,比如快照,压缩,去重
mchong
2022-06-20 17:46:42 +08:00
@dfgxcvbcv 对不起,是我孤陋寡闻了。原来 Hetzner 是个数据中心服务商。照下面说的直接上 aws 的对象存储吧。那个可靠性更高
iphoneXr
2022-06-20 18:11:10 +08:00
不要用 zfs 针对你的情况我建议你了解下 pve 官网的推出备份软件 pbs ( proxmox-backup-server )
说几个特性:支持增量备份和重复删除。
libook
2022-06-20 18:38:36 +08:00
软 RAID-1 是 RAID 方案,ZFS 是文件系统方案,这俩不是一个维度上的问题;比如 ZFS 也有 RAID-Z0 、RAID-Z1 、RAID-Z2 、RAID-Z3 ,如果你换了 ZFS 却用的是 RAID-Z0 ,那还不如以前的软 RAID-1 可靠。

我重度使用过 Ext4 和 Btrfs ,ZFS 据我的了解就是提供了一些性能优化和快照之类的实用特性,服务器用的主流文件系统可靠性都差不多,实际上存储可靠性方面文件系统是很低优先级去考虑的,更高优先级是:
1. 机房所在整个地区电力或网络故障了怎么办;
2. 整个机房故障了怎么办;
3. 整台服务器故障了怎么办;
4. 整块硬盘故障了怎么办。

前面那些问题解决了之后,基本就解决了 99%的可靠性问题。
Miy4mori
2022-08-17 12:58:19 +08:00
这么重要的服务用 PVE ?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/860916

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX