请教磁盘阵列相关知识

[Cryse]

想组一套磁盘阵列保存一些拍摄的视频素材, 照片等.

现有设备有 8 个 3.5 盘位, 然后空架子可以再装 5 个 3.5 或者 12 个 2.5 盘位, 系统目前跑着 ESXI.

目前计划是用 10TB 或者 12TB 的 SATA 机械硬盘, 第一步准备考虑 2-4 个硬盘.

我看主流选择是硬阵列或者 ZFS, 这两种都有点疑问想请教一下.

如果是硬阵列的话:

1. 阵列卡有什么推荐型号吗?
2. 大容量硬盘不能用 RAID5, 那么 RAID6 和 RAID10 该怎么抉择呢?
3. 假设已经建立了一组 RAID1, 能否在不手动备份或者迁移的情况下再加一组 RAID1 变成 RAID10 吗?
4. 这种方式加一块 SSD 做缓存是怎么操作的呢?

如果 ZFS 的话:

1. RAIDZ1 类似 RAID5, 那 RAID5 的风险 RAIDZ1 也有吗?
2. RAIDZ1 和 Z2 如果不是一次插满的话扩容似乎是个问题，那么 ZFS 能用 Stripe + Mirror 实现 RAID10, 并且动态扩容吗?
3. 因为还要用到虚拟机，那么如果用 FreeNAS, 是去掉 ESXI 直接安装 FreeNAS, 然后用 FreeNAS 提供的虚拟化, 还是继续 ESXI, FreeNAS 装在虚拟机里, 把阵列卡直通给这台虚拟机呢?

先谢谢各位大佬了~

[CallMeReznov]

选什么都不要选 R5,你信他的算法可以,但是你不能信硬盘的质量!

[momocraft]

bhyve 命令行也不难用

[Vnaner]

说下最近装 nas 的体会:
我的机箱小，散热不佳，PCIE 插槽捉急最后没有考虑上硬件 raid，选择了 zfs Stripe + Mirror,重建省事，扩容也省事，就是空间打对折。。
操作系统上了 esxi，里面再起 freenas，把硬盘直通进去共享给其他客户端

[Cryse]

@Vnaner
硬盘直通使用的什么方式呢？ S.M.A.R.T 能正常显示不？

[ryd994]

@Cryse 当然应该加倍啊
你原本 6 盘中 2 盘冗余，现在变成 12 盘 2 盘冗余，冗余度不就下来了么。这就变成 6 盘中 1 盘冗余了

没钱玩什么 nas

@Vnaner 你这就是不推荐的做法。freenas 不建议挂盘进去。因为即使是虚拟机磁盘直通，磁盘设备还是由宿主控制。直通只直通了数据空间给虚拟机用。虚拟机无法读 smart，也无法控制各种省电和队列参数。
要用虚拟机，只有 PCI 直通。

你这种情况，有两种办法：
1. 主板上是 SATA 控制器也可以直通。但因为是在主板上，很有可能是和其他主板上的控制器共享 PCI 通道的。这种情况下就要把这个通道下的所有设备一起直通。至于其他设备能不能直通，应不应该直通，就要看情况了。
2. 为什么不直接在物理机上跑？虚拟机完全可以放另外一台。储存节点+计算节点，所有的云都是这样做的。储存通过网络挂载给计算。

[gamexg]

@Cryse #24 我是 gen8，freenas@esxi@gen8，板载磁盘控制器直通给 freenas，smart 等信息读取正常。
不过好像又不能休眠硬盘的问题，我没专门测试是否无法休眠硬盘。

[pubby]

@gamexg gen8 只有 2 个 sata3 口吧

[gamexg]

@pubby #27 记得是两个 sata3，三个 sata2。需要更多的 sata 需要上阵列卡了。

[Vnaner]

@ryd994 #25 大佬，我是把 ACHI Controller 直通了，上面挂的所有硬盘都分给 FreeNas 了，然后有一个 nvme 插槽被拿去当 esxi 系统盘了，但是我在 freenas 里看不到硬盘温度，首页的各种 report 也一直 loading，是哪里没配置好吗?
迫于贫穷，暂时没打算搞两台做存储+计算...😂