V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
dfgxcvbcv
V2EX  ›  云计算

两块 NVMe 固态, ECC 内存的独立服务器,上 ZFS 存数据可靠性会更高么?

  •  
  •   dfgxcvbcv · 2022-06-20 16:56:56 +08:00 · 3498 次点击
    这是一个创建于 668 天前的主题,其中的信息可能已经有所发展或是发生改变。
    因为服务对 CPU 性能的要求越来越高,上了两台 Hetzner 的 AX51-NVMe 来降低成本(配置都是 AMD R7-3700X 家用 CPU 两条三星 32GBECC 内存 两块三星 1TB NVMe 固态),目前两块硬盘是用自带的系统安装脚本组的软 RAID1 。听说用 ZFS 数据可靠性更高,请问 V 友有必要换么?(服务都在 PVE 虚拟机中,数据非常重要,目前已有每天凌晨同步 S3 桶备份,每周全量离线备份)
    15 条回复    2022-08-17 12:58:19 +08:00
    powergx
        1
    powergx  
       2022-06-20 16:58:53 +08:00
    ecc 就可以了,用了十几年 zfs 了
    dfgxcvbcv
        2
    dfgxcvbcv  
    OP
       2022-06-20 17:00:48 +08:00
    @powergx #1 所以我在问有没有必要上 ZFS (没弄过不会太会弄,而且服务已经上线了,有活跃用户不敢乱来)
    geekvcn
        3
    geekvcn  
       2022-06-20 17:09:43 +08:00 via Android
    PVE 内核就支持 ZFS 啊,ZFS 内存缓存策略很激进,会占用更多内存,主要是快照功能好用,安全靠的是 Raid 和定期异地或云备份
    dfgxcvbcv
        4
    dfgxcvbcv  
    OP
       2022-06-20 17:14:38 +08:00
    @geekvcn #3 我服务已经在运行了,有办法在不关 VM (可以短时间休眠)的情况下上 ZFS 么?目前两台服务器内存都有 10GB 没有分配给 VM ,给 ZFS 用不知道够不够。
    dfgxcvbcv
        5
    dfgxcvbcv  
    OP
       2022-06-20 17:16:39 +08:00
    @geekvcn #3 RAID 和异地备份我们都做了,但很难做到实时备份,哪怕只丢 1 分钟数据,如果这 1 分钟用户上传了作品被我们丢了肯定会被用户骂。
    geekvcn
        6
    geekvcn  
       2022-06-20 17:35:25 +08:00 via Android
    @dfgxcvbcv ZFS 一般 1T 存储最好留 1G 内存,越大越好,换 ZFS 只要操作硬盘,不需要关机休眠,前提是你 VM 磁盘镜像不是在你要操作的硬盘上
    mchong
        7
    mchong  
       2022-06-20 17:36:51 +08:00
    你这非常重要的数据还用民用 ssd ?
    dfgxcvbcv
        8
    dfgxcvbcv  
    OP
       2022-06-20 17:38:22 +08:00
    @geekvcn 那内存够,我只有两块 1TB NVMe 。但是宿主机系统和 VM 的磁盘镜像都在这个准备操作的硬盘上。
    dfgxcvbcv
        9
    dfgxcvbcv  
    OP
       2022-06-20 17:39:08 +08:00
    @mchong #7 Hetzner 只有提供这种 SSD ,我换不了
    geekvcn
        10
    geekvcn  
       2022-06-20 17:40:29 +08:00 via Android
    @dfgxcvbcv 我觉得带用户上传的还是用云服务的对象存储吧,就是成本比较高,但可靠性不是自建能比的,毕竟人家资源池大
    geekvcn
        11
    geekvcn  
       2022-06-20 17:42:11 +08:00 via Android
    @dfgxcvbcv 你是为了安全换 ZFS 毫无意义,但是为了 ZFS 的部分特性换才有必要,比如快照,压缩,去重
    mchong
        12
    mchong  
       2022-06-20 17:46:42 +08:00
    @dfgxcvbcv 对不起,是我孤陋寡闻了。原来 Hetzner 是个数据中心服务商。照下面说的直接上 aws 的对象存储吧。那个可靠性更高
    iphoneXr
        13
    iphoneXr  
       2022-06-20 18:11:10 +08:00
    不要用 zfs 针对你的情况我建议你了解下 pve 官网的推出备份软件 pbs ( proxmox-backup-server )
    说几个特性:支持增量备份和重复删除。
    libook
        14
    libook  
       2022-06-20 18:38:36 +08:00
    软 RAID-1 是 RAID 方案,ZFS 是文件系统方案,这俩不是一个维度上的问题;比如 ZFS 也有 RAID-Z0 、RAID-Z1 、RAID-Z2 、RAID-Z3 ,如果你换了 ZFS 却用的是 RAID-Z0 ,那还不如以前的软 RAID-1 可靠。

    我重度使用过 Ext4 和 Btrfs ,ZFS 据我的了解就是提供了一些性能优化和快照之类的实用特性,服务器用的主流文件系统可靠性都差不多,实际上存储可靠性方面文件系统是很低优先级去考虑的,更高优先级是:
    1. 机房所在整个地区电力或网络故障了怎么办;
    2. 整个机房故障了怎么办;
    3. 整台服务器故障了怎么办;
    4. 整块硬盘故障了怎么办。

    前面那些问题解决了之后,基本就解决了 99%的可靠性问题。
    Miy4mori
        15
    Miy4mori  
       2022-08-17 12:58:19 +08:00
    这么重要的服务用 PVE ?
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5272 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 05:46 · PVG 13:46 · LAX 22:46 · JFK 01:46
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.