V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Reign
V2EX  ›  程序员

3×6T 机械硬盘,预存储数据为 11T, Raid0 好还是 Raid5 好?

  •  
  •   Reign · 2018-07-11 11:09:16 +08:00 · 9604 次点击
    这是一个创建于 2087 天前的主题,其中的信息可能已经有所发展或是发生改变。

    静态存储和应用逻辑 MySQL、Redis、ES 都集中在这一台服务器上了,所以既要大硬盘,又要高读写,3 块 6T 的硬盘做 Raid,Raid0 好还是 Raid5 好?

    Raid0 对硬盘损坏零容忍,3 块硬盘出错一块就完了,但是机械硬盘感觉没那么容易坏吧?(估计是我见识太短?)

    另外 3 块机械盘做 raid0 读写性能是否可以和一块中规中矩的 SSD 差不多了?

    107 条回复    2018-07-13 09:44:19 +08:00
    1  2  
    a7a2
        1
    a7a2  
       2018-07-11 11:14:50 +08:00
    3 块机械盘做 raid0 也不及 一块中规中矩的 SSD

    建议组建 Raid5,那点速度真心无用
    julyclyde
        2
    julyclyde  
       2018-07-11 11:19:38 +08:00   ❤️ 1
    raid0 是找死的选择
    Reign
        3
    Reign  
    OP
       2018-07-11 11:22:38 +08:00
    @julyclyde 我目前还真倾向于 raid0。。。。。。纠结了一下先来 v2 征求一下意见
    20015jjw
        4
    20015jjw  
       2018-07-11 11:48:03 +08:00
    6x6T raid 10 吧 没 ssd 贵 但是肯定远没有 ssd 快
    honeycomb
        5
    honeycomb  
       2018-07-11 11:51:16 +08:00 via Android
    @Reign 老样子,三盘 raid0 的故障率大致依赖于三块盘任意一块出故障的概率,比双盘组 raid0 还要高了“单盘与双盘 raid 故障率之比”的倍数

    所以 raid5,或者加一块盘搞 raid10
    514146235
        6
    514146235  
       2018-07-11 11:58:54 +08:00
    想要速度肯定要换 ssd,用了 ssd 你的代码都可以少优化很多。
    11T 应该不是都是热数据吧。

    如果都是热数据,那当我没说。
    honeycomb
        7
    honeycomb  
       2018-07-11 12:10:04 +08:00 via Android
    @Reign
    比如按年故障率 3%(小概率)来算,单盘就是 3%,双盘 raid0 就是 6%(近似),三盘 raid0 就是 9%(近似)。

    如果是 raid5,那么可以承受一块盘丢失,那么就是 0.26%(下限),实际要考虑数据恢复过程中剩下两款盘因为负载高而再次出现掉盘的问题。
    mortal
        8
    mortal  
       2018-07-11 12:13:53 +08:00 via Android
    RAID 5 据说也不大可靠。恢复数据能慢死个人还失败率高
    mrzx
        9
    mrzx  
       2018-07-11 12:56:03 +08:00
    只有 3 块,不然 4 块可以组 raid10,速度上有保证,冗余上也有保证。

    你觉得数据重要,不能丢失,那就组 raid5.

    你觉得数据可以允许丢失,追求性能,那就 raid0.
    powergx
        10
    powergx  
       2018-07-11 13:38:02 +08:00
    raid 1
    mm163
        11
    mm163  
       2018-07-11 13:49:26 +08:00
    加一块然后 Raid10。
    relaxchen
        12
    relaxchen  
       2018-07-11 13:56:42 +08:00
    首先排除 RAID0,其中一块坏了阵列就 GG 了
    relaxchen
        13
    relaxchen  
       2018-07-11 13:58:06 +08:00
    @relaxchen
    没打完就发出去了,,,
    然后 3 盘 RAID5,算上写惩罚,写入性能还不如单盘,所以建议是再加一块小容量(具体容里看你 11TB 数据中的热数据量)做阵列的缓存
    mhycy
        14
    mhycy  
       2018-07-11 14:14:19 +08:00
    硬卡,开缓存
    跑 R6 性能还是不错的
    太烂的卡除外。。。

    利益相关:有个基于 LSI 9286CV-8eCC 的 5*3T 的 RAID6 阵列
    Eleutherios
        15
    Eleutherios  
       2018-07-11 14:19:23 +08:00 via iPhone
    正确做法是 RAID6/RAIDZ2,用于冷数据存储
    likuku
        16
    likuku  
       2018-07-11 15:00:16 +08:00   ❤️ 1
    再加一块硬盘,RAID10 是最基本的。

    "但是机械硬盘感觉没那么容易坏吧?(估计是我见识太短?)"

    呵呵... 去年我这全新一套群晖+WD 红盘,不到 2 周,2 块盘 1 周内先后坏掉。
    xuhaoyangx
        17
    xuhaoyangx  
       2018-07-11 15:03:47 +08:00
    @likuku #15 群辉真心坏盘几率高
    likuku
        18
    likuku  
       2018-07-11 15:03:51 +08:00
    就算组 RAID0,机械硬盘一堆,这些也只能满足持续读写时的带宽需求,
    数据库这种对高 IOPS 需求 /seek 低延迟 需求,依然受制于机械硬盘本身低下的“随机读写 /磁头巡道时间",
    SSD 在这种用途上,性能超出太多了
    kokutou
        19
    kokutou  
       2018-07-11 15:03:59 +08:00
    3 个 6t 是一起在同一家同时买的?

    那组 raid5 也有可能一起挂掉。
    kokutou
        20
    kokutou  
       2018-07-11 15:04:52 +08:00
    @likuku #16
    群晖坏盘率很高。。。应该是电源太垃圾。

    红盘本身也是挂掉的几率很高。
    likuku
        21
    likuku  
       2018-07-11 15:06:10 +08:00
    @xuhaoyangx 后来,果断连盘带机退货,换了 8 盘位群晖,老老实实组 RAID6,改换 6T 的 HGST+ ST 硬盘,
    至少密集使用了大半年也还都 OK。
    likuku
        22
    likuku  
       2018-07-11 15:08:07 +08:00
    @kokutou 哦,当初是 WD NAS 专用盘什么, 图容量大,还直接用了新出的 8T 盘,可能也太新不够可靠。
    xuhaoyangx
        23
    xuhaoyangx  
       2018-07-11 15:11:10 +08:00
    @kokutou #19 WD 红盘其实还行,手组,5 红 WD,5 酷狼,5HGST 组的的 zfs,目前为止酷狼报过警一颗。

    @likuku #20 反正不太相信群辉,上在线式 UPS,一年都跪了 2 个 WD 红
    crazycen
        24
    crazycen  
       2018-07-11 15:20:00 +08:00 via iPhone
    raid0 没啥问题,看脸,数据丢了,爽一次就有记性了!
    psweet
        25
    psweet  
       2018-07-11 15:36:33 +08:00
    nas raid0 开机不超过 10 次 总时长不超过 24h 一次断电 4tb 酷狼狗带 你慌不慌
    log4geek
        26
    log4geek  
       2018-07-11 15:45:55 +08:00
    之前玩过 Raid1,两块硬盘在一年内全坏了,卖硬盘的老板一脸惊讶的问我,你对硬盘究竟做了什么。。幸亏保修期内坏了可以换新盘,然后再也不玩 raid 了。单独两个盘,装个软件,每天定时同步一次,妥妥的,撑了快 5 年了,暂时还没坏。
    c0878
        27
    c0878  
       2018-07-11 15:51:10 +08:00
    建议 raid10 sata 的硬盘如果 raid5 故障了做恢复要非常久时间 这段时间再出问题就完蛋了
    c0878
        28
    c0878  
       2018-07-11 15:52:00 +08:00
    另外看 lz 这描述是所有鸡蛋放在一个篮子里呀 太危险了 为啥不把各系统拆开
    mrzx
        29
    mrzx  
       2018-07-11 16:02:53 +08:00   ❤️ 5
    我当年移动硬盘坏掉之后,恢复数据花了 4000 元。还只恢复了 80%,且所有的文件,文件名全部乱掉了。花了 1 个星期才整理好。很多照片,这辈子无法在照了。是你对去世的人一种纪念方式。

    我老婆当时提醒我,有什么办法避免这种事情发生?我说搞 NAS,但是很贵。老婆问我,多少钱吧,我说差不多 5000~6000 吧。老婆立刻回我啊,“傻老公,在发生这样的事情,你恢复数据的钱都足够在买一台 NAS 了。干嘛不一开始就采用这种方案?”

    说的我激动,当天就就下单买了一台群晖加 4 块企业级的硬盘。
    可是,后面,我渐渐发现群晖的一些安全性问题,因为这类商用的 NAS 产品,NAS 的操作系统不是写在 flash 芯片里,就是装在数据硬盘里。

    我对 NAS 商用产品质量实在不放心,群晖的 DSM 系统原理很简单,是装在每块硬盘里的分一小块区域,且弄成 raid1,且不说系统盘和数据盘没有分离靠谱不靠谱,这样的做法搞得让我一点都不安心。而且群晖也不开源,出了任何问题,都要依靠群晖本身对产品的支撑和对客户的支持水平。这种依赖关系让我也是我考虑的因素之一。

    后来被人安利了 freenas.
    之后才采用了 hp gen8+freenas+系统盘+数据盘分离+raidz2 的方案来备份数据。

    系统盘使用 2 块非常贵的 slc 原片得 U 盘组类似 raid1 镜像,.数据盘用 4 块 NAS 红盘组 raidz2 组成。
    且因为是软 raid,及时切换到任何硬件平台,只要硬件配置够,随时可以迁移硬件平台,且不受任何底层硬件限制。我特别做过实验迁移过。

    原先也考虑过用硬件 raid 卡。但是这种东西不靠谱,且不说 raid 信息单纯的保存在卡里,一旦该卡停产,想配个相同的卡也很难。且每块硬盘还有相对应的排列顺序等头疼问题。真要是 raid 硬件卡坏了,恢复数据相当麻烦且不安全。

    反正在我心中,数据存放的冗余性安全放在第一位。性能倒是其次。


    当然,有便宜的解决方式,就买多块移动硬盘,然后每次拷贝数据的时候,往其他移动硬盘上拷贝一份。
    可是,对于搞 IT 的人来说,真有人有功夫每次都这么做吗?
    Reign
        30
    Reign  
    OP
       2018-07-11 16:08:55 +08:00
    @c0878 我目前就是准备把手上 6 台 2T 的小鸡一起,全部转移到一台大鸡上来,要不管理起来很麻烦,我也不知道这么做到底是对还是错,所有鸡蛋都放到这一个篮子里面了
    mrzx
        31
    mrzx  
       2018-07-11 16:11:17 +08:00
    @Reign 还是取决于数据本身对你的价值。有价值推荐多采用一些冗余方案,一旦数据丢失了,那就是一辈子的痛。真实感受。
    HughRyu
        32
    HughRyu  
       2018-07-11 16:26:24 +08:00
    看你数据的重要性.如果十分重要.你这容量只允许 2D 冗余度.一般 RAID5+1HS 或者直接 RAID6.
    如果对高速区域空间不大的话,应该 SSD+Raid5 才是最合理配置.手动分层....
    imn1
        33
    imn1  
       2018-07-11 16:30:51 +08:00
    看你的用途是读写频繁,如果有另外的备份计划,选择快优先

    家用和工用还是很不同的
    家用必须备份数据不多时( 5 盘以上才算多,注意说的是「必须」),才建议上 raid
    一来家用读多写少,二来必须备份的数据不多,因为数据之间的关联性不强,不会丢失部分数据导致全体作废
    所以家用其实建议,多介质备份更保险
    工用我没什么知识和经验,只是觉得运行和备份应该是两套设备分开

    我自己不玩 raid,但认识的人中很多玩 raid,从他们身上吸收很多经验
    1.raid 比起纯备份读写更多,因为有校验工作
    2.raid 的投入其实也很大,真有备份需求,不适宜用廉价 raid 设备,数据量少用昂贵设备,费用比多介质还多
    3.玩软 raid 要有「想自杀」的准备,出错真的很惨
    4.raid 两盘同时(指相距时间很短)坏掉其实概率不低,很多情况是来不及补充新盘,隔天第二盘就坏掉,所以也要常备一到两个空盘及时应对

    我一些国外友人,喜欢用昂贵的 raid6 设备,上百 T 扔车库,这种玩法真心比不上
    wadjj
        34
    wadjj  
       2018-07-11 16:43:20 +08:00 via iPhone
    今天才碰到一个朋友两块硬盘同时换,不算什么罕见的事
    wishuloveme
        35
    wishuloveme  
       2018-07-11 18:16:33 +08:00
    本地 raid5,再弄个便宜的 vps,每天深夜 rsync 同步,再不放心本地再接个移动硬盘,配个 crontab 定期复制去。
    biaodianfu
        36
    biaodianfu  
       2018-07-11 18:17:16 +08:00
    相比组磁盘阵列,更容易被忽略的上购买的磁盘。购买硬盘最好的方式是希捷、西数交叉购买,交叉使用。这样才能把灾难降为更低。

    综合来讲个人比较推荐 Raid10,但是从数据量上 11T 和 6T 的磁盘,不建议 Raid10,主要原因是冗余空间太少。4 块硬盘组成 Raid10 差不多也就 11G 左右,如果组 Raid5 的话大概可以有 17G 左右的空间。

    在硬盘这么便宜的情况下,个人建议买 4 块 10T 的硬盘组 Raid10.

    更多信息参见: https://www.biaodianfu.com/raid.html
    biaodianfu
        37
    biaodianfu  
       2018-07-11 18:18:59 +08:00
    @wadjj 买同一品牌,同一批次的经常会这样。
    pynix
        38
    pynix  
       2018-07-11 18:21:51 +08:00
    把存储和应用分开,各做各的。。。。
    pynix
        39
    pynix  
       2018-07-11 18:23:47 +08:00
    至少静态存储分离出去。。就方便很多。。。
    gclove
        40
    gclove  
       2018-07-11 18:28:01 +08:00
    确实一般不容易坏,只建议 RAID 10, 反对 RAID1, 速度奇慢
    rootit
        41
    rootit  
       2018-07-11 18:35:07 +08:00
    一般没人做 RAID0 吧 除非。。 数据是真的没用了。
    likuku
        42
    likuku  
       2018-07-11 18:41:30 +08:00
    带冗余的 zfs 当然是更好的选择,再没有财力入价值上千万软妹币的磁盘柜时,zfs 是最优选。

    即便有了很可靠的 raid/zfs/磁盘柜,至少得再有一份可靠的并定期验证过的备份依然非常非常重要,甚至比当前在线主力用的存储更为重要。毕竟,出了事故时,可信赖的备份将很可能是唯一救命稻草。
    likuku
        43
    likuku  
       2018-07-11 18:44:21 +08:00
    @biaodianfu RAID5 也只能容忍一块硬盘毁坏,且在新硬盘完成重建上线之前那段漫长修复时期数据已经没有任何可冗余的硬盘了。

    当经历过短时间内 2 块全新硬盘损毁事故之后,就不会对冗余度只为 1 的存储有好感。
    whileFalse
        44
    whileFalse  
       2018-07-11 18:45:27 +08:00
    我用西数企业级,淘宝货,挺便宜的。感觉比红盘靠谱。
    likuku
        45
    likuku  
       2018-07-11 18:50:16 +08:00
    单纯选硬盘,那么老生常谈得再次推荐参考这家云存储厂商的定期报告吧,下面是 2017 年度的:

    2017 Hard Drive Failure Rate Comparison : https://www.backblaze.com/blog/hard-drive-stats-for-2017/
    Judoon
        46
    Judoon  
       2018-07-11 20:23:57 +08:00 via Android
    raid50 吧,不要纠结了
    AstroProfundis
        47
    AstroProfundis  
       2018-07-11 21:33:21 +08:00
    我用 9 块 2T (品牌、成色不一)组的 RAID50 用了大概两年,几乎不间断开机状态,中间非自己手贱的原因导致的掉盘重建发生了 3 次,其中有一次是盘真的坏了,换了一块,另外两次似乎是散热不好造成的扩展卡死机;然后还出现过一次不明原因所有盘一起红掉的情况还好无损修复了
    这个故障率楼主可以参考,反正我现在是感觉 50 的冗余度都不太够了,在慢慢屯盘准备换 10 了
    AstroProfundis
        48
    AstroProfundis  
       2018-07-11 21:35:08 +08:00
    @AstroProfundis 对了,我是家用 NAS, 楼主这个需求看来是线上业务,千万不要舍不得多买两块盘的钱去搞 RAID0 做死...
    TJT
        49
    TJT  
       2018-07-11 22:03:41 +08:00
    千万别想不开用 0,我 RAID5 就坏过两次。以前在学校帮忙维护校园网,有一次 RAID5 直接坏了两块盘,只能靠备份回滚,丢了一整天的数据。

    移动硬盘每次回家我都备份一份到家里,重要数据备份到 Google Drive。
    fetich
        50
    fetich  
       2018-07-11 22:16:08 +08:00
    @mrzx 请问 FreeNAS 可以做到随意地扩展容量么?
    zn
        51
    zn  
       2018-07-11 22:17:06 +08:00   ❤️ 1
    前段时间看过一篇英文博客,写得很专业,大概内容如下:

    一,由于现在硬盘容量动辄数 T,导致 RAID 5 重建过程可能长达一周甚至几周,这期间阵列以降级模式运行,性能惨不忍睹,导致重建期间服务器无法正常上线运行,对于重要应用来说是不可接受的。

    二,重建期间硬盘都是满负载运转,这期间如果又有一块硬盘损坏的,那整个阵列就 over 了。

    三,由于普通磁盘存在随机性的位翻转,虽然概率很低,但是由于磁盘容量高达数 T,所以概率要乘以 1,000,000,000,000,结果就是位翻转的概率已经高到无法忽视了,如果真的有一个比特的翻转,会导致重建的时候数据检校错误,而大部分 RAID 卡厂商为了稳妥起见(不背锅),一旦发现检校错误就立即停止重建!!!也就是说只要有一个比特的错误数据,都会导致整个数 T 的磁盘阵列重建失败!

    so.........
    luozic
        52
    luozic  
       2018-07-11 22:17:12 +08:00
    数据比啥垃圾硬盘贵多了,事前不规划好,等出了问题,就各种 SB 了, 为啥工程设计里面都有余量?
    rssf
        53
    rssf  
       2018-07-11 22:29:48 +08:00 via iPhone
    我只用 raid1,第一组 raid1 再备到第二组 raid1,家庭内使用而已
    honeycomb
        54
    honeycomb  
       2018-07-11 22:47:09 +08:00 via Android
    @likuku 抱怨红盘故障的帖子在 v2 挺多的。
    @mrzx 我用 jbod 的方式存多个备份,可能因为以照片为主,都是增量数据容易存档。
    pubby
        55
    pubby  
       2018-07-11 22:51:57 +08:00 via Android
    @fetich 看 zpool 类型,所有盘依次替换后肯定可以
    yangqi
        56
    yangqi  
       2018-07-11 22:56:00 +08:00
    raid0 和 5 都别用,现在大容量盘 raid5 重建可能还没有直接恢复备份快。钱不是问题肯定上 ssd, 或者把应用都分到单独的服务器上,大容量和性能不可兼得,除非不差钱。
    msg7086
        57
    msg7086  
       2018-07-11 23:29:26 +08:00   ❤️ 2
    @mrzx 提醒一句,RAID 不是备份。一般要在 NAS 以外再用另一个方式做备份才比较好。
    想想万一你的 MSG8 被人入室盗窃了或者因为火灾水灾雷击猫尿等原因损毁了怎么办。

    @Reign 如果你完全不介意硬盘上的数据全丢,就上 RAID 0。如果你有一丁点介意,就上 RAID 5。
    另外 RAID N 并不主要是用来保全数据的,而是用来做高可用的。
    时刻记住 ,RAID N 不是备份,RAID N 只能提供高可用性。实时备份永远都要做,不论你用 RAID 0 还是 RAID N。
    RAID 1 5 6 10 Z1 Z2 Z3 都不能代替备份。
    msg7086
        58
    msg7086  
       2018-07-11 23:30:54 +08:00   ❤️ 1
    另外 RAID 0 的性能连 SSD 的尾巴都够不到。
    你要是做 12 盘 SAS RAID 10 阵列说不定能和 SSD 一战,3x6T 还是算了。
    likuku
        59
    likuku  
       2018-07-12 00:00:28 +08:00
    @honeycomb jbod 也就一组直连硬盘而已(不用冗余级别的 madm/zfs),可靠性和单盘存储并无差别

    没有可靠备份,那就只有拼运气了
    likuku
        60
    likuku  
       2018-07-12 00:05:10 +08:00
    @pubby
    @fetich

    zfs 简单存储池 (可以认为类似 lvm/raid0) ,那么替换更大新盘后,zpool 即扩充完成。

    mirror/各种 raid 类型存储池,那么得把当前存储池里所有成员硬盘均替换更大容量硬盘完成后,存储池容量才会扩充。
    notgod
        61
    notgod  
       2018-07-12 00:30:20 +08:00
    @Reign
    大兄弟
    我最近部署了一套基于 ELK 的集中日志系统 单天过亿的级别
    看到这个 我还是给你些意见

    经过各种环境测试 我想还是有发言权的
    我不知道我们的实际需求是否一致

    简单来说 按你的描述
    因为我不知道你数据量 和数据重要性
    这个是需要一个规划的
    根据你的数据增长情况,规划一个拓扑和容灾结构

    排除硬件因素
    先说你指望的 MYSQL REDIS ELK 全部部署在一起
    这个是有严重问题的
    REDIS 无所谓, MYSQL 如果你查询大 CPU 消耗问题很严重
    不知道你是不是对 ELK 有什么误解, ES 最好的发挥是集群,不是单机
    最大消耗不是 I/O 而是内存和 CPU, 我的版本是最新的 ES

    我测试环境 Linode 16G 的套餐 准备迁我的 ES 数据 超 300G ,搭配 Linode 1T 的存储 (读写 500 多 M 的速度)
    内存 over heap 迁移完启动,接收日志,一直会自动挂掉 CPU 持续 100%+
    最后不得已还是继续使用 64G 内存+6 块 200G 的 SSD 的设备 来接收日志
    这个还是我优化过的

    在说硬盘问题 , 你存储数据不可能不查询
    ELK 我实际测试亿的数据 在 Raid5 3x2T 的情况下 在 kibana 根本查询不出 一直 TIMEOUT

    Raid0 如果你不考虑数据安全性的话 就是你容许挂了重装系统 重新来过
    那可以使用

    Raid5 的性能, 非常差 你测下就知道了

    你的情况 如果期待放一起 最好的硬件方案
    内存 64G 其中 32G 给 ES
    硬盘使用带 BBU 的 HW 卡 搭配 6 块 HHD + 4-6 块 SSD
    一种是 SSD 做缓存
    另外一种是 SSD 放热数据, HDD 放冷数据

    这种密集型 I/O 的 而且还是 6T 的单硬盘 寻道时间和稳定性都有待考证的产品
    实在不建议

    我觉得你应该先测试性能在考虑其他
    wwhc
        62
    wwhc  
       2018-07-12 07:47:06 +08:00
    两块做 RAID0,另一块单独做备份,机械硬盘无论是 RAIDx,4K 都无法与 ssd 相提并论
    honeycomb
        63
    honeycomb  
       2018-07-12 09:07:45 +08:00 via Android
    @likuku jbod 的可靠性总比 raid0 好一些,至少每次事件只损失一块盘的数据
    sunzen
        64
    sunzen  
       2018-07-12 09:30:08 +08:00 via iPhone
    建议搞 raid50
    fetich
        65
    fetich  
       2018-07-12 09:37:00 +08:00
    @pubby
    @likuku
    感谢解惑。
    mrzx
        66
    mrzx  
       2018-07-12 10:17:33 +08:00   ❤️ 1
    @fetich 随时可以,就是盘数一开始是固定好的。
    可以拿小容量硬盘堆盘数。后面预算宽裕拿大容量硬盘扩容。

    还有个缺点是 freenas 需要大量的内存。基本上 1TB 硬盘容量需要 1G 左右的内存做缓存。如果你要开启 zfs 中的一个特性“ ZFS 重复数据删除”,这个功能,虽然可能增加硬盘存储容量,但耗费的内存更多了。

    像我那台 gen8 已经老了。最大只支持 ECC 16G 内存。也就是说,理论上我最多知道 4TBx4 的硬盘存储量就到极限了。
    现在我只不过才 2tbx4,容量对于家庭备份使用的我来说,已经足够用了。
    mrzx
        67
    mrzx  
       2018-07-12 10:18:39 +08:00
    @msg7086 你说的对,所以我打算买个 1TB 的移动硬盘,插在 gen8 上,设定个计划任务,定期将文件增量备份到移动硬盘里。
    wangfei324017
        68
    wangfei324017  
       2018-07-12 10:28:39 +08:00 via iPhone
    数据重要,raid6+hs 也比不为过
    wekw
        69
    wekw  
       2018-07-12 10:48:35 +08:00   ❤️ 1
    过来人告诉你,老老实实 RAID0,觉得速度不够就上 SSD,那就不用 RAID 了。

    RAID 5 可以说是菜鸟毒药,只是看起来很美,坏了一块盘没有专业人士操作基本就全报废了。
    wekw
        70
    wekw  
       2018-07-12 10:49:53 +08:00
    机械硬盘没那么容易坏。。。。。尴尬。。。。同学你是买了多差的 SSD。。。。。。

    我用 SSD 七年了,没见过坏的,机械硬盘我自己都用坏过好几块。
    tailf
        71
    tailf  
       2018-07-12 10:52:12 +08:00   ❤️ 1
    我家用来存电影的群晖用的都是 HGST 企业硬盘 RAID 1。世界加钱可及。
    wekw
        72
    wekw  
       2018-07-12 10:53:02 +08:00   ❤️ 1
    修正 #69,关键信息打错了:

    老老实实 RAID 1
    zj299792458
        73
    zj299792458  
       2018-07-12 11:01:51 +08:00 via iPhone
    Raid0 不如 SSD+1
    cedoo
        74
    cedoo  
       2018-07-12 11:02:18 +08:00
    @wekw raid0 找死,SSD 坏不坏我不知道,反正我的 plextor,刚过 3 年质保就直接挂了
    fetich
        75
    fetich  
       2018-07-12 11:18:03 +08:00
    @tailf RAID1 是不是太壕了,RAID10 速度、容量、安全挺平衡的选择。
    mchong
        76
    mchong  
       2018-07-12 11:21:23 +08:00
    预算够就拆分服务器,上商业存储。
    noahzh
        77
    noahzh  
       2018-07-12 11:30:28 +08:00
    raid 不适合穷人。
    ryd994
        78
    ryd994  
       2018-07-12 11:30:39 +08:00 via Android
    @mrzx 其实内存完全不用担心
    内存不够只是会影响随机读写性能而已
    zfs 1G/T 是生产环境中高性能的要求
    实际上大多数人 lan 也就千兆,而且仓库盘主要是顺序读写。
    我现在 8G,6*8T,完全没有问题。

    dedup 就别想了
    zhjits
        79
    zhjits  
       2018-07-12 11:58:16 +08:00
    >4T 单盘建议 RAID6,不要尝试 RAID5
    likuku
        80
    likuku  
       2018-07-12 13:39:54 +08:00
    @mrzx
    @ryd994

    内存也不是问题,4G 内存跑 zfs 也可以很流畅,条件就是得自己对系统作微调,关键就是调整 ARC 大小上限

    "ZFS 重复数据删除",这功能太变态了,实际尝试过之后,发觉它是 CPU 黑洞,整个系统会假死很久很久(按天计算),
    开始开启它可能还 OK,低频 IO (增删改很少)还基本感觉不出性能下降,若某次批量修改 /删除很多文件时,噩梦就开始了。

    开启 ZFS 透明压缩就已经很好了,更实用,lz4 CPU 占用非常少,在重复数据较多 /文本文件很多 时,空间节省非常显著,读写却几乎没有下降,读取大型文本时,因为压缩后体积更小,读取反而比不压缩更快。
    AsisA
        81
    AsisA  
       2018-07-12 13:40:43 +08:00 via Android
    机械用坏了几个了……还是 SSD 靠谱,推荐 SSD,别贪便宜,直接买口碑好的 SSD,用到想换电脑了都坏不了
    likuku
        82
    likuku  
       2018-07-12 13:42:39 +08:00
    @honeycomb RAID0 ... 太疯狂了,只适合用于 缓存文件 什么之类的 “临时文件”,

    不如直接加大内存,用内存 tmpfs 文件系统,效能秒掉 SSD 是没得说,还没有磁盘 /SSD 损耗。
    usernametoolong
        83
    usernametoolong  
       2018-07-12 13:56:38 +08:00
    加一块盘做 raid10 raid5 和 6 也是非常不靠谱的玩意。
    wekw
        84
    wekw  
       2018-07-12 15:30:29 +08:00
    @cedoo 三星表示:什么是坏???
    honeycomb
        85
    honeycomb  
       2018-07-12 16:45:35 +08:00 via Android
    @likuku 楼主似乎想搞三块盘的 raid0,然后 mysql,Redis,ES 都放在里面
    bubuyu
        86
    bubuyu  
       2018-07-12 16:47:42 +08:00
    RAID0 就是作死啊... 机械硬盘哪里不容易坏?
    mrzx
        87
    mrzx  
       2018-07-12 16:59:26 +08:00
    @likuku 看来我的 GEN8 还能在撑个几年。总硬盘容量扩到 8TBx4 应该不成问题。我现在组 raidz2 (类似 raid6 ),写入速度其实很慢,有的时候,即使传输个大文件,最快也不过 70MB/s。

    GEN10 M 终于出来了,可惜在也没有 lio4,而且最大内存不过从 16G 变成了 32G 而已。那还真不如我自己组个 X86 平台兼容机呢。服务器的最大特色都没了。
    msg7086
        88
    msg7086  
       2018-07-12 17:13:48 +08:00
    @mrzx ZFS 不需要一定 1G per T 的。

    @wangfei324017 Hotspare 已经被认为是弊大于利的设定了。
    openbsd
        89
    openbsd  
       2018-07-12 18:07:35 +08:00
    这是弄来玩还是 ?
    RAID0...............
    RAID5 也是神坑,咬牙再+个 6T 上 RAID10 吧
    openbsd
        90
    openbsd  
       2018-07-12 18:09:00 +08:00
    @AsisA #81
    这个真心看 RP,富士通至尊 SLC 坏过俩的表示,备份才是王道
    likuku
        91
    likuku  
       2018-07-12 18:35:06 +08:00
    @mrzx 70MB/s 难道不是网卡不行? SCP/SFTP? RSYNC? SAMBA? HTTP?

    rsync 和 http 是很容易达到非常接近满速,scp/sftp 带加解密,速度上不去。
    likuku
        92
    likuku  
       2018-07-12 18:36:38 +08:00
    @honeycomb “ mysql,Redis,ES 都放在里面” ... 即便用 SSD 堆起来,一般的机器,内存 CPU 都也不够了...
    20has
        93
    20has  
       2018-07-12 19:17:51 +08:00 via Android
    我的建议是保证高可用就 raid5 或者 raid0 (只是成本更高) 再别的地方单独备份 一套 冷备份
    20has
        94
    20has  
       2018-07-12 19:19:34 +08:00 via Android
    上面陈本更高的应该是 raid1
    raid0 速度快 快不过 ssd
    (*•̀ᴗ•́*)و ̑̑ 要快就来 raid0 的 ssd
    冷备份倒是随便了 单盘都行
    fjzjk
        95
    fjzjk  
       2018-07-12 19:26:00 +08:00
    raid0 不如裸盘
    mrzx
        96
    mrzx  
       2018-07-12 20:31:31 +08:00
    @likuku 我猜应该是 raidz2 的写入性能就是差,跟千兆网卡也没关系,因为读取的速度,我轻松达到 120MB/S,我的共享方式是 smb 和 iscsi.
    我家台式机只有一个 256G 的 SSD 做系统盘,其他盘符全是加载 iscsi 当硬盘使得。
    tempdban
        97
    tempdban  
       2018-07-12 20:40:29 +08:00 via Android
    我们服务器上的 raid 卡有个奇怪的 raid 模式 要求至少五块盘 四个主用一个备用 要是六块就两备用。最大 8 个盘也是两个备用。
    他明确说了不叫 Raid 5。
    likuku
        98
    likuku  
       2018-07-12 21:26:37 +08:00
    @mrzx 你组的 raidz2 成员硬盘数是偶数么?奇数会降低效能。

    不知你有否测过直接写 zpool 时的效能?

    zpool iostat -v 1 监测硬盘 io 状态 ,
    同时再起个 ssh 上去 在本地直接 dd if=/dev/zero bs=1m of=/zpool/vol/test 直接从内存写入 zfs 卷,
    如此可以当作 zpool 纯写入性能的参考值 (总写入量必须超过系统内存总量才有意义)
    janssenkm
        99
    janssenkm  
       2018-07-12 21:54:10 +08:00 via Android
    做缓存可以 raid0,坏了就重建。存数据还是 raid5 吧
    pubby
        100
    pubby  
       2018-07-12 22:32:53 +08:00 via Android   ❤️ 1
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1061 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 19:04 · PVG 03:04 · LAX 12:04 · JFK 15:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.