自建 NAS 方案分享

[Hengtang]

楼主是个爱好摄影的嵌入式 Linux 工程师，玩摄影多年累积的照片视频也有三四 TB 了，之前一直放在电脑上，后面电脑重装过担心日后数据丢失，就搭了这台 NAS 。从一开始的纯文件服务器慢慢攒成了多功能的个人 Server ，在此做个简单的方案分享，也想看看大家的方案和经验分享。

软路由的话另外搞了台树莓派 4B+以前的华硕 TUF AX3000 做 AP ，路由器这种东西还是独立出来要稳定可靠一点。

这一套体积小巧，性能也比较可观，我的大部分服务都跑在这台 NAS 上，云服务器只跑了 frps 和 Nginx 作为中转。

不过也是有问题的，比如这块主板的扩展性还是比较普通，只有一个 PCIE x16 、一个 x4 、一个 x1 ，现在处于完全插满的状态，也无法扩展万兆，后续大概率会换超微的服务器板子。并且因为板载的 RTL8168 网卡没有 VMWare 官方支持，社区驱动也只支持到 ESXI6.7 ，为了上 8.0 版本还特地弄了张英特尔网卡。

稳定性倒还不用担心，电源基本是往最好的买，华南金的 x79 也用了有六七年了，没出过什么大问题。然后就是这套的功耗还是相对高的，软 Raid 并且扩展卡也不支持交替启动，没有开硬盘休眠，8 个 3.5 寸盘的功耗是不小。平时总功耗 70 到 80 ，带负载比如开 Emby 解码可能会到 100 多。

硬件

• CPU: E5-2650L v2 (10C20T 1.7->2.1GHz)
• 主板: 华南金牌 x79 ZD3 M-ATX 胖板
• GPU: NVIDIA Tesla P4
• RAM: Samsung DDR3 Reg ECC 16GB x 4
• 系统盘: Gloway M.2 NGFF 512GB x 1 + Gloway Sata 512GB x 1
• 缓存盘: Samsung 980 M.2 NVME 1TB x 1(读缓存)
• 数据盘: Seagate Ironwolf 4TB x 8
• Sata 扩展卡: 乐扩 PCIE 转 8 口 Sata 转接卡(Marvell 双芯片方案)
• 网卡扩展: 乐扩 I225-V 2.5G 扩展卡
• 电源: 益衡 7660B 600W 80Plus 铂金 Flex 电源
• 机箱: 拓普龙 8 盘位 M-ATX

操作系统

• 虚拟化底层: ESXI 8.0.0
• NAS 虚拟机: 黑群晖 DSM7.1.1(DS3617xs 版本)
• Linux Server: Ubuntu 22.04 LTS
• 云桌面: Windows 11H2

应用

备注: Docker 大多跑在 Ubuntu 上，群晖的 Docker 面板好用但是实测性能会差一些

• 相册、文件、Office 等: 群晖 DSM(确实好用，尤其相册，开源方案没法儿达到的体验)
• 多媒体服务器: Emby Server(Ubuntu 直装, 已入正)
• 视频任务、种子搜索、字幕管理: NAS Tool(Docker) + Jackett(Docker) + ChineseSubFinder(Docker)
• 音乐: Navidrome(Docker) + Subtracks(Android)
• 阅读: Calibre Web(Docker)
• RSS: TinyTinyRSS(Docker) + Fluent Reader(Windows/Linux) + Focus Reader(Android)
• Diagram: Draw.io(Docker)
• BT: 迅雷 NAS 版(DSM) + QBittorrent(Docker) + Aria2 Pro(Docker)
• PT: Transmission(Docker)
• 密码管理: Bitwarden(Docker)
• 博客: Wordpress(Docker)
• Wiki: Wiki.js(Docker)
• 图床: Lychee(Docker)
• 编程: VSCode Server(Ubuntu) + Jupyter Lab(Ubuntu)
• Git 服务: Gitea(Docker) + GitNex(Android)
• CI/CD: Drone CI(Docker)
• ChatGPT 前端: ChatGPT-html
• Docker 管理: Portainer Community(Docker) + 各种设备端装 Agent(Docker) + Portarius(Android)
• 云游戏: Games on Whales(Docker) + Steam Link(Ubuntu) + Steam(Docker + Ubuntu)
• 模拟器游戏: Emulatorjs
• 测速: HomeBox(Docker)
• 监控面板: Prometheus(Ubuntu) + Grafana(Docker)
• 异地组网: Zerotier + OpenVPN
• 远程桌面: RDP + RustDesk(Docker)
• 内网穿透: Frps(腾讯云) + Frpc(OpenWRT)

其他内容

• 硬件直通情况: NVIDIA Tesla P4 给了 Ubuntu ，Samsung 980 和乐扩 Sata 扩展卡给了黑群晖。
• 硬盘分配情况: 两张光威的盘均作为 ESXI 的系统和虚拟机存储盘使用。8 张 4TB 机械盘分成了两组，每组 4 块各自组了 SHR-1 的阵列，一组作为重要文件存储池，一组作为非重要文件存储池。三星 980 作为群晖的读缓存使用, 分成了两个 500G 的缓存分区，分别给前述两个存储池使用。

[Hengtang]

@bobryjosin 我这张卡还没遇到过掉盘的情况，比较羡慕你可以上万兆，我这套想上万兆只能换板子了，毕竟 Emby 转码是刚需，显卡得保留。你这里有网络隔离的话主路由也放上去就没啥事儿，我都是一个网络，怕折腾的时候有需要联网的内容而路由系统又没跑起来的情况，所以软路由就搞了单独一个设备

[Hengtang]

@antonius 主要是云服务贵，好多能自建的内容自建会省不少钱

[mrzx]

@Hengtang 还是省电啊，这些设备拆开来单独供电要多少电费？

你安装 esxi 的系统盘和数据盘 硬盘做 raid 了吗？做了 raid 你保证 raid 卡会不会坏？我接手很多服务器的项目，到最后很多都是 raid 卡花掉而且还停产。

至于其他的机械硬盘你通过黑群晖组了软 shr-1 阵列，你遇到过硬盘损坏，恢复 SHR 阵列的实际操作起来有什么弊端吗？而且群晖系统本身崩溃了会如何呢？而且 shr-1 只允许一块硬盘损坏，我遇到 2 次重组阵列的时候，在阵列没重组完成的时候，其他硬盘也损坏的情况，但 shr-2 写的性能又比 shr-1 慢。。。。

至于 980 缓存盘才一块，而不是两块，你知道如果缓存盘 980 一旦损坏，会发生什么事情吗？尤其是你缓存还没写完时，突然缓存盘损坏的情况？一般缓存盘最少也要 2 块，做 raid1 的。


我没见过不坏的硬盘，只是时间长短罢了。运气好，10 年前项目的服务器上的硬盘都还建在，运气不好。。。一年一台坏几块硬盘也不少见

所以，最保险的，你还是只能冷备份，做镜像同步，做异地容灾，因为 all in one 的机器有太多的不稳定因素。

[lookStupiToForce]

看到前面这么多人说 all in boom ，虽然感谢了 OP ，我也提一嘴
单独把软路由独立出来并不是不能叫 all in boom ，而是已经集成了这么多功能，确实可以叫 all in boom 了

没 boom 只是你运气好没遇上，我这儿成都，见过因为邻近地区偶发地震导致正在备份的原盘和备盘同时损坏的事，这还是在不同机房。
平时真没人在意这些，此后不得不准备异地容灾

[Hengtang]

@mrzx 你说的这些操作我都做过。
我恢复过带缓存 SHR-1 的阵列，无非就是耗时比较长而已。
缓存损坏的情况也遇到过，因为 DS3617xs 使用 NVME 需要修改 libsynonvme.so 动态库，第一次 DSM 升级版本后动态库被覆盖回去导致 NVME 无法读取，存储池损毁。这种情况改完动态库存储池一样成功修复了。
至于硬盘缺失、损坏需要重建 SHR-1 的情况我最开始电源方案没定的时候也遇到过，一样修复了。
缓存只有一块的原因是主板只有一个 NVME ，并且这只是读缓存不是读写缓存，群晖一块缓存盘是不能作写缓存的。
ESXI 系统盘坏掉我也遇到过，直接升级 ESXI 到 8.0.0 的时候掉引导就遇到了。无非重装一下 ESXI ，群晖的系统在它直通的硬盘里，重新引导一下即可。其他虚拟机我都通过群晖的 ABB 每天自动备份，即使虚拟机系统全丢，先恢复群晖然后通过群晖恢复其他虚拟机就行了。
并且 ABB 的备份文件、我的其他重要文件全部在 PC 端每天自动镜像同步，即使把这台 NAS 直接拿锤子砸了，虚拟机和重要文件也都在，会丢的只是没备份的那些比如下载的电影电视剧之类而已。

[ryd994]

CPU 其实没必要买 L 的。L 是功耗上限低，功耗下限和别的是一样的。家用大部分时间都是空载，L 并不省电。
然后这个 pcie 转 SATA 真的换掉吧。二手 M1015 ，刷 IT 固件就是 SAS HBA ，买条 SAS 转 SATA 线就可以插 SATA 盘。正经服务器配件，怎么也比这些个小厂的 SATA 卡靠谱。而且 SAS 线都是细线，对通风散热也好。

我认为，all in one 的问题主要是安全，这个楼上讲过了。
其次是功耗。nas 是不应该关机的，保护硬盘。晚上可以跑一些维护性的任务，比如 zfs scrub 。那晚上这些显卡也是耗电的。一年下来的电费不少了。我的 nas ，6 盘，空闲功耗 55-60w 不到。

游戏、云桌面，大可以放到第二台机器上。放一起表面上省了一套主板 CPU 内存电源，实际上亏了电费。
游戏机从 nas 上分离出来以后，就不需要考虑功耗问题，也不需要考虑安全问题，洋垃圾什么便宜捡什么，不用的时候关机。

[powergx]

买个 hba 直通 freenas 我用了 10 年了，稳

[Hengtang]

@ryd994 这个卡直出的是两个 SAS SFF 8087 ，转 Sata 只是最终目的。
然后你这功耗也没低多少啊，我是 8 盘位整机空闲七八十 W 。而且这个显卡跟家用卡不同，功耗非常低，空闲只有 4W

[Hengtang]

@ryd994 L 系列 CPU 还是要低不少的，我 E5 2690 、E5 2650L v2 、E5 2687W v2 都用过很久，2650L v2 闲置功耗还是低很多的，毕竟主频低

[Hengtang]

@powergx 乐扩这张卡是用的两块 Marvell 88SE9215 的方案，是 HBA 直通

[ryd994]

@Hengtang 如果和主频无关啊。空闲就应该降频。主频低是默认的倍频低。降频降的是倍频不是外频。最低倍频大家都一样。
首先那个 Sandy bridge 就不要拿出来说了
34nm 和 22nm ，制程不一样功耗也不一样
其次带 W 的是 workstation ，频率设置和其他的也未必一样

带 L 省不省电，这个问题你随便搜下都是很明确不省电
https://www.reddit.com/r/homelab/comments/ta7ldd/lower_wattage_xeons_power_draw_and_thermals/
https://forums.servethehome.com/index.php?threads/is-it-worth-to-replace-e5-2670-with-2630l.9983/


你这卡并不支持 SAS 协议。8 口就是只有 8 口。但是 SAS HBA 可以加 expander ，今后如果需要扩展，上限几乎无限。我搜了一下你这卡淘宝上卖 300 左右。你搜搜 9220 sas 卡多少钱？而且，还是那句话，这是正规大厂服务器硬件，比小厂的用料和稳定性只好不差。也是 freenas 推荐的 SAS 卡，freenas 社区都强烈反对任何 SATA 卡。

我这功耗高是因为我用的是西数拆壳白标盘。标称 5400rpm ，实际上是 7200rpm 的氦气盘，是日立的技术。你搜搜 backblaze 的数据，日立、西数的盘的故障率比希捷的低得多。
去掉机械硬盘，功耗只有 15-20w

[hanssx]

我也是 all in one ，不过我功耗很高，主要可能是显卡 1660s(直通给 windows 了)+单 cpu 8352y+双路超微主板的原因，目前 200W ，1 个月电费算下来小 100 ，勉强还能接收，平时是 windows 直出显示器作为主力机在用，我虚拟机里面是旁路由，怕出问题影响整体路由，所以路由一定要独立出来一套。

我还在折腾上 NAS ，在黑群和 TrueNas 上考虑选哪个方案。

另外，楼主 P4 直通给 Ubuntu 是为了 RDP 硬件加速吗，现在 Ubuntu 22.04 的 RDP 支持硬件加速了吗，CUDA 加速么？好像 RDP 服务是 GNOME 4X 带的。

[0o0O0o0O0o]

@ryd994 考虑开个新帖多说点吗？爱听，要是有完整又实惠的方案抄就更好了🤤

[hanssx]

@ryd994 确实分 2 台电脑比较好，1 台主要是 nas+其他，另外 1 台是可以关机的那种，但是吧，等你用久了你会发现，关机的次数也很少，我现在也有点后悔没这么弄，当初追求高性能，现在电费多出一倍，每年多出 500 ，不过想想，500 也能接收，想买回来一套主板 CPU 内存的钱，估计得个 5 、6 年。

[Pogbag]

应用选择和楼主基本一致

[sundev]

都是家用，毕竟受限于场地、噪音、资金没办法，计算冗余、存储冗余、网络冗余这些都是钱！更多的自己折腾，学习技术，感觉挺好的！

[ryd994]

@hanssx 为什么不关机啊？不是游戏 /工作机吗？晚上没必要开着吧，至少可以待机。如果晚上有必要开着的服务，那就移到 nas 的虚拟机上。
比如我就不会常开游戏电脑。炼丹的人也不需要 7x24 小时炼丹吧？怎么说炼几天也得休息几天，用个脚本自动触发待机就好了。
待机，要用的时候可以 WOL 触发。

@0o0O0o0O0o 我在国外，价格不一样的。看下来比较省钱的其实是找当年装机量比较大，评价不算差的机型，然后照着配置单买配件。机箱电源这些可以买普通的，比如我就买了静音机箱。
配件我基本上是看 truenas 的社区硬件指南，因为我需要的就是 nas 而已。
我买到特别便宜的配件是从 ebay 拍到的，反正也不急用，就慢慢拍。$29 买到了 7x16GB 的 DDR3 REG ECC ，正常来说我觉得最便宜也只能到$8/16GB 左右。淘宝可能有更便宜的的吧。

[18500592934]

@Hengtang 我的软路由就是和其他的混在一起了，只要服务器一挂，就全部完犊子了。
之前我的软路由单独一个设备，后来设备坏了，懒得修理，就 all in boom 了。
目前除了 esxi 中的网络似乎有些问题外，其他的都还好！

[18500592934]

@Hengtang 老哥，ups 是不是成本太高了！！！家用搞这个安全吗？？？我现在一个 500w 的电源带了七八个小设备(路由器这种的)，都害怕它出问题！
我对 ups 不是很了解啊，理解就是一组电池备用供电！上面有问错的地方还望老哥理解啊！

[kingdream123]

大佬请教一下用 Zerotier 打洞后，还需不需要配置 OpenVPN 增加安全性呢