探讨一下服务器硬件条件下的 NAS 方案选择

[dknagi]

最近看了不少关于自建 NAS 的内容，不论是用黑群晖或是 TrueNAS ，还是其他的方案，发现多数情况，都是软件 RAID ，硬件大多是消费级的 DIY 或者集成度较高的硬件平台。

我现在手里现有的硬件是一个戴尔的 T350 塔式服务器，主要硬件都是直接买的戴尔现成的，其中还包括了戴尔的 PERC H755 阵列卡（带有缓存和 BBU ），接在机箱的磁盘面板，有 8 个热盘位。同时服务器上还有个单独的 BOSS-S2 卡，功能是单独做一个系统盘的双盘阵列（ RAID0 或 RAID1 ）。

这个前提下，NAS 系统的选择上有些拿不准。我看到的 TrueNAS 或者黑群晖方案中，都是使用软件 RAID ，如果有阵列卡的也都是改成 HBA 或者 IT 模式，让软件直接访问物理磁盘。但是感觉我这个场景下，如果是这种使用方式，那阵列卡完全成了摆设。

物理机上目前是想的跑一个 ESXi ，上面针对不同的需求建立不同的虚拟机，比如说实现 NAS 的就是纯做 NAS 的虚机；实现下载任务的就是纯下载；实现其他功能的需要跑在 Linux 或 Windows 下的软件，看情况使用单独或共享的虚机。
现在对于 NAS 的虚机使用什么系统有些定不下来，不过无论使用哪种，感觉都是会把阵列卡在 ESXi 里直通进去的。

[GooMS]

我的 pve 用阵列卡 raid1 另一张 pcie 给群晖直通

[billlee]

产生这个矛盾是因为这是个半吊子的服务器，它不是为 NAS 设计的。为大量存储目的设计的服务器本来就是用无 RAID 功能的 HBA 的。

如果要用 truenas 之类的集成方案，那就改成 HBA 模式，否则就 RAID 模式装个 debian 然后自己配置相关服务

[ttvast]

产生这个矛盾是因为 truenas 也好群晖也好，都是低端的 nas 解决方案，储存服务器不可能用这种小儿科的软件系统的。

[dknagi]

@billlee 我理解你说的这个情况，我在工作中给企业采购的存储方案，要不就是为了开箱即用的群晖企业级解决方案，要不就是戴尔专门的存储类型服务器。我个人买了戴尔的这个塔式服务器，最主要是看上了它的机箱，然后再加上原厂售后。
层主提到的第二种情况，我原来最开始是在物理机上安装的 Windows Server ，然后系统直接读取已经做好的硬件 RAID ，然后直接把盘符共享出去，然后虚拟机的需求用 Hyper-V 来解决。换成 ESXi 主要是感觉比 Hyper-V 的虚拟机性能和效率更好。NAS 系统的选择上我有考虑操作系统是 Windows 还是 Linux ，主要是不知道读写性能会有差很多么，因为我的 NAS 使用需求其实并不高，主要是用来做下载归档存储，但也不会到每天都有大量读写的情况。

[dknagi]

@ttvast TrueNAS 我了解的不多，群晖有在工作中给企业采购过他们现成的企业方案，当然使用场景也肯定不是那种对技术指标要求非常高的公司。

[wheat0r]

首先，不要纠结 raid 卡有没有作用，硬件是为了软件服务的。
硬件 raid 不一定适用于大容量文件存储场景，还存在重构失败的问题。
一切以实际使用为目的。

[dknagi]

@wheat0r 我现在 RAID 卡上面是配的 RAID6 ，同时开启了 Hot Spare

[shijingshijing]

@ttvast 正解。没见哪家数据中心用 TrueNAS 或者群辉的，正经的存储服务器才是王道，也就个人用户或者小公司采用这种玩具。存储服务器的功能强太多了，IPMI ，硬件级监控，多盘延时上电等等，唯一不足就是功耗高点。那些个玩具也就个人数据不值钱凑合用用。

[zhhmax]

全篇没看到你准备拿 NAS 具体干哪些事情，存照片还是影音库还是还是文件服务器，其他设备都是什么，对应的系统和平台都不清楚。

我以前也折腾各种方案的 NAS ，现在的我会选择这么做：宿主机用 Windows server ，然后在系统里面组一个存储池，用 hyperv 搞虚拟机。这样的好处是，你可以根据不同的数据要求配置不同规格的存储池然后给虚拟机去用，硬盘出现问题也能直接挂到其他 win 主机上处理数据。文件共享会采用 smb ，照片库影音库再找方案开虚拟去实现。

[ryd994]

对于数据储存来说，阵列卡本来就是个摆设

这种有 bbu 缓存的阵列卡，目标场景是跑数据库和跑系统，硬盘的随机读写能力不够，回写缓存就有用了。但是这个场景现在也基本被 SSD 替代。企业级写密集 SSD 比家用 SSD 贵好几倍，但是比起 15k rpm sas 盘的电费还是便宜多了。性能也是吊打。还有 optane 这种终极方案。

数据储存重要的不是性能而是可靠性。在这一点上软 raid 比硬 raid 更好。软 raid 可以有各种校验和冗余逻辑，而不用受制于硬件限制。硬件 raid 碰上硬件故障，想要恢复数据还得找个一样的卡。软件 raid 不管什么电脑，能插上就有办法读数据。

再说到你这个硬件，也未必就适合做 nas 。如果你是认真要储存数据和跑服务，ECC 很有必要。你这个机器最多就是 UDIMM ECC ，非常贵，前提是配 Xeon E 处理器。洋垃圾装 RDIMM ECC 白菜价。

这机箱没什么啊，你个人使用真的需要热插拔吗？我用 antec p101s ，8 盘位，淘宝上买个硬盘笼还能加 2 盘位。如果不嫌难看的话里面还能再塞几个。不是热插拔。

[dknagi]

@ryd994 机箱主要是看那个硬盘状态灯，我平时不会老盯着软件状态，所以硬盘架上面的状态灯就是我看的最多的。这机器的主板能上的 CPU 是 E 系列，不过不是那些铜牌银牌啥的。

[fs418082760]

你的需求 nas 就能完成啊 群晖里也自带下载器和简单的虚拟化 还有 docker 或者起个 linux 或者 win 的虚拟机 软件 raid1 真的够了 个人 all in one 就行了 很多人用的还是 arm 处理器

[dknagi]

@zhhmax 抱歉，没说清楚(lll ￢ω￢)
其实我的使用需求里，最终就是需要有一个能通过网络连接的存储，但是我不会通过手机和平板之类的设备使用，因为不是用来做同步的。里面存的东西都是下载的影音，但是我观看时是使用 PC 观看。因为有点儿“仓鼠症”，所以我会搜集不同压制组的动画作品，有些还是不太好找的资源，可能下载一次，万一没了之后，再找也不一定好找了。
虚拟化方面，不论是哪种实现方式，我主要是里面有跑软路由的虚机，有跑监控的虚机，还有专门安装各种下载软件的虚机，还有别的功能的。

[ryd994]

@dknagi Xeon E 或者 E3 基本就是个桌面处理器，开放了 ECC 功能。用一样的插槽，频率和功耗之类的也基本等于桌面版同款。价格却要贵上许多。现在桌面版也开放 ECC 了，E 系列就更没意义了。

Xeon W 或者金银铜或者 E5 之类，用的是服务器平台。最大的区别在于支持 RDIMM 。RDIMM 洋垃圾比台式内存便宜。UDIMM ECC 比台式内存更贵。CPU 插槽也不一样，内存支持 4 通道 6 通道。桌面版只有 2 通道。

硬盘故障不能靠灯，设置好邮件通知就好了。无论是 smart 报错还是硬盘离线，都可以邮寄通知。

[wy315700]

@ttvast 请教下储存服务器一般用哪些软件解决方案啊，给几个关键词就行

[dknagi]

@ryd994 原来最开始是打算直接买 R750 这样的硬件方案的，但是摆放空间的原因就最终选择了 T350 ，T550 没选，主要是因为感觉如果 CPU 和主板都上到这个级别了，那不如选机架的方案，但又回到了前面提到的摆放空间问题(lll ￢ω￢)

[zhhmax]

@dknagi 那你这个跟我的需求差不多，我是 winserver 宿主机，共享用 smb ，mac 上挂载上去速度也没问题，特别重要的文件是用 resilio sync 在三台不同位置的电脑实时同步，我也有收集影视资源的习惯，单独一块大容量盘用 smb 共享到 mac 上看，然后 hyperv 启动也几天虚拟机满足其他需求。硬盘是创建了不同规格的存储池应对不同安全级别的数据。我感觉这一套下来要比一些成品 nas 灵活一点，运维也简单，win 远程共享不挑客户端。至于不同虚拟平台的性能问题我没有考虑，因为我没有需要极致性能的使用场景。

[tianzi123]

温馨提示,搞 all in one 的话, 软路由单独一台设备 , 另外 nas 系统的话,推荐 windows server 比较好,直接共享盘符然后,手动刮削什么的更方便,软件更多

[dknagi]

@zhhmax 大佬，你觉得宿主机的虚拟化实现这块，咱们这种个人使用场景下，不同的虚拟化方案相对比会差很多么，我原来一开始在纯桌面级平台上一直是用的 Hyper-V ，但是感觉在网上搜索的时候，看到的更多的都是 ESXi 。

[dknagi]

@tianzi123 软路由单独一台设备，是考虑故障情况的问题吗