自建 NAS 的存储方案的技术选择,求建议

2021-04-10 10:32:21 +08:00
 sidkang

前帖提要:链接在此

在上回发帖之后,中途也陆陆续续对现有 NAS 做了些许改动,作为不折腾不舒服星人,出于各种原因,打算进行更动

类型 现有配置 预期方向 备注
CPU i5-8500 E5-2690V4
主板 E3C246D2I(ITX) EPC612D8A(ATX)
内存 金士顿 16G*2 三星 REG DDR4 16G*4
机箱 MineNas 四盘位 Define R6
系统盘 0.5T*2(Mirror)
容器盘 0.5T*2(Mirror)
存储盘 8T*4(1+0)
系统 Proxmox Ubuntu LTS(待定)

先总结一下目前配置的优点:

  1. 体积小、做工在线、4 盘位热插拔;
  2. 机箱容量大:虽然是 4 盘位机箱,但实际上我可以塞入 3.5 寸4 、2.5 寸4,目前板子仍空着一张 M.2 2242 插槽,所以还可以加入一个 2.5 寸 U.2 盘;
  3. 主板接口足够:
  4. 性能还不错,因为用的 8500,我日常开着两个 docker lxc (一个默认科学上网、一个直连,上面各运行数个 docker 容器)、2 个 WIN10 VM 、一个 Debian Testing 开发机、一个 Hackintosh VM ( surge 盘路由),剩余若干 lxc 容器( samba 、webdav 、plex 、syncthing 、jellyfin(专攻受限影片)等);
  5. IPMI 维护便利。

期间发现的一些不足及缺陷(不分排名先后):

  1. 噪音。由于房屋面积实在有限,机箱目前被安置在客厅,这就导致在客厅观影的时候经常受到硬盘炒豆子声音的影响;
  2. 四盘位机箱维护不便。使用期间发生了三个 pool 分别发生了一次降级事故,2.5 寸硬盘倒还好,腾挪方便,由于我的存储 pool 用满了四张盘,3.5 寸的替换确实有些困难;
  3. PCI-E 插槽的不足之一。之前在采纳 ITX 作为主板时,考虑万兆的需求还比较遥远,AIO 一体机对于万兆的需求相对也不太高就暂时放弃,当时也是看到了 QNAP 及其它厂商所出的 2.5G/5G USB 网卡,感觉在全面万兆内网前可以凑活,遂暂时放弃,但实际使用中发现 USB 网卡在使用中存在着过热降速、延迟不稳定的情况,SAD ;
  4. PCI-E 插槽的不足 2 。其实组装前就想要在机子上有一个直通显卡的 WIN10 VM 和 Hackintosh VM,但是后来采用了 NUC8+雷电显卡坞的方案解决,但发现这个方案有些 bug,打算淘汰掉这个组合,所以这也就成为了一个缺点
  5. 容量不足。这一点严重失误,估计不足。受限于 ZFS 以及盘位闲置,存储空间的升级实在太贵,大家都懂。

于是基于上述理由,开始寻找替代方案,也请各位 V 朋指教:

  1. 机箱。目标 8-10 盘位机箱。考虑到 PCI-E 扩展性及散热性能,锁定了几款 ATX 机箱,Define R5 、Define R6 、Antec P101-S 这几款机箱,目前偏好 R6,因为打算放入双显卡及万兆卡,目前手上两张都是双槽卡,R6 这方面最合适,静音效果看起来也不弱;
  2. 主板。目标是三条 x8 、一条 x4 槽位(双显卡+冗余 HBA 卡+万兆卡),可以使用相对便宜的 REG DDR3/4 、U 性能相对不那么落伍(因为需要玩游戏及桌面 VM,所以希望主频不低、核心数也够)、同时虚拟化相对稳一些( iommu 、PCI 直通方面不存在障碍,这一点经过了较长时间的网上资讯确认,暂时放弃 AMD 系列,对此有不同意见的朋友也欢迎提出来),多方面调查后,目前确认了 AsRock Rack 的 EPC612D8A 主板;
  3. CPU 。这个就比较简单了,根据主板直接选择 E5-26XXV4 系列 U,考虑到核心数足够,主频相对不弱,性价比足够的原则,暂时选定了 E5-2680/90V4,暂时还未采购,闲置的小伙伴可以出给我;

另一大块就是 Host 系统选择及 Raid 组合有比较大的不确定:

  1. 目前的方案是系统盘 Mirror 和容器盘 Mirror 分离,考虑到都是 SSD RAID1,实际使用中是否需要严格分离呢?如果不的话,这两个应用是不是可以考虑放在一个 pool 里?
  2. 由于有多媒体存储、PT 的需求,当然 PT 不算重度,但是多媒体对于性能的偏好要求并不高,目前打算使用 MergerFS+SnapRaid 的类 Unraid 方式来组合存储多媒体存档文件、而 PT 和重要文档文件采用大容量 HDD 组 mirror 或 Raidz1 使用,这样做是否合理?
  3. 是否能将 Raidz1 放在 MergerFS 的 pool 中?也就是多个 Basic 盘+Raidz1/Mirror 作为 MergerFS 的 pool,Snapraid 对这个整体进行运作,该参考方案来自于linuxServer.io,各位对这种 RAID 堆叠的方案有什么看法呢?
  4. 根据以上的选择,如果采用 MergerFS 和 ZFS 的混合方案,个人倾向于选择 Ubuntu,如果是纯 ZFS 方案,个人可能就会选择 Proxmox,另外的 Truenas Scale 版本正在官网,由于目前仍然是 alpha 状态,有些打鼓,各位有在实际使用中的么? 欢迎提出建议和宝贵意见。
3342 次点击
所在节点    NAS
56 条回复
yansheng1003
2021-04-10 11:44:47 +08:00
脱离需求谈设计,外人都没法给你建议
sidkang
2021-04-10 11:51:24 +08:00
@yansheng1003 前面多数是分享,需要建议的主要是最末的存储方案部分,我理解对于需求的描述已经体现在了问题里。
ayasakinagi
2021-04-10 13:10:58 +08:00
歪个楼, 我是围绕 ceph 弄了一套集群, 优势是稳定 /数据安全保障 /扩容方便, 缺点是需要用服务器级别的硬件 /使用需要有一定的基础.
wjx0912
2021-04-10 13:22:34 +08:00
用 Proxmox 的话 cpu 可以选好点,10400 之类的价钱加不了多少
Eleutherios
2021-04-10 13:28:48 +08:00
考虑下 FreeNAS + ECC RAM + ZFS ? AMD CPU/APU 也可以的

单纯 NAS 的话来一颗 G4560 什么的性能就够,上 E5 纯粹属于折腾。
sidkang
2021-04-10 13:57:36 +08:00
@ayasakinagi 诶,好像还木有够到那个层次,我觉得这波升级快把想到的需求都填完了
sidkang
2021-04-10 13:59:38 +08:00
@wjx0912 主要还是想上 REG ECC,这一套如果要上更新的服务器平台板子和 U 估计又得各贵个 2K 左右,再等两年收垃圾估计好些
sidkang
2021-04-10 14:02:51 +08:00
@Eleutherios 支持 ECC 的 APU PRO 不好买,而且还是必须买纯 ECC,并且 PCIE 的插槽也比较紧张,B550 的 ATX 板子像样一点也不便宜,再考虑到 PCI 直通的问题,综合来看还是 I 家平台稳一些,上 E5 是个被动选择,我也想买个 5600X 用,这不是看着 B550 做虚拟化问题多多也不便宜么
sidkang
2021-04-10 14:06:05 +08:00
@Eleutherios 另外我的需求其实也不算纯 NAS,也包含了做游戏串流和远程开发机的需求。
just4id
2021-04-10 14:44:28 +08:00
干嘛不上 hpe gen10+
sidkang
2021-04-10 14:47:29 +08:00
@just4id gen10plus 的扩展性还不如我现在的配置,PCI-E 差不多,2.5 盘位还少了 N 个,新配置的话更是无法相比。
just4id
2021-04-10 14:51:34 +08:00
@sidkang ssd 2T + 18T*3,一步到位后就不扩展了,真要扩展,再上一台 gen10+
SenLief
2021-04-10 15:06:47 +08:00
你这不是 NAS 吧,这不是服务器带了 NAS 功能吧。那还不如用虚拟化做切割出来了。
my3157
2021-04-10 15:16:39 +08:00
mineNAS 机箱怎么样?看着貌似不错的样子
Eleutherios
2021-04-10 15:25:49 +08:00
@sidkang 这样的话,游戏串流最好直通一张 A 卡

hdd 如果做阵列不要用 raid5 !
Eleutherios
2021-04-10 15:27:38 +08:00
另外……home server 维护成本其实很高的

我折腾到最后还是买了群晖。游戏也改视频通关了
sidkang
2021-04-10 15:31:15 +08:00
@SenLief 确实,总结来看目前的情况是虚拟化能力也不够(需要 PCI-E 槽位)、存储能力也不够(需要更多 3.5 盘位)。
1 )即便是虚拟化切出来,虚拟化我需要的主机也最低最低是个 MATX 机箱(插两张卡);
2 )其实存储能力也得折腾,要换一个 E-2200 或者 i3 、以及 ECC 内存(发生了一些大容量文件发生错误无法打开的情况,初步判断是内存问题),再换一个至少至少 6 盘位以上的机箱,大概一个 MATX 机箱也跑不了;
这样拆开来,可能比我这样合起来一个 ATX 机箱还要占空间~~
sidkang
2021-04-10 15:32:14 +08:00
@my3157 还不错,就是隔音稍差(基本木有),其它没什么太多缺点,更多是体积所限了。
sidkang
2021-04-10 15:38:11 +08:00
@Eleutherios 嗯,同意,应该大概率不会使用 Raid5 或者 Raidz1,目前手上是一张 5600XT (个人对游戏画面要求不高,属于 1080P 能玩就行),另外一张 1050TI 可以用作硬解卡(略微 overkill,不过有点懒得换了)。维护成本目前一年半的经验看下来还可以,其实不是什么大事儿,服务器感觉比主机简单,基本都是硬件问题,软件问题由于都走了虚拟化,没啥事儿是备份恢复重装解决不了的
sidkang
2021-04-10 15:39:14 +08:00
@Eleutherios 不过 A 卡是有什么神秘加成么?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/769653

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX