图吧版 12 盘静音 nas 方案分享

2022-06-17 17:46:27 +08:00
 i3x
前言
太多人折腾瘦骨如柴的类 atom 的 j1900 之类的低功耗方案。对此我只想说浪费生命。如果硬盘够多,平台功耗相对而言也就没那么重要了。。

适用人群:
1 、内存需求。虚拟机多开
2 、pt 仓鼠症。硬盘多。甚至很多老盘也想用上。
3 、适当的 cpu 需求....没有核显,如果需要转码纯粹靠 cpu 力大飞砖。

方案:
既然是图吧版,肯定是捡垃圾。

1 、主板。海鲜市场。300 。。微星 MS-S1361 。理由:双 82599 万兆。相当于板载市价 500+的 INTEL X520 DA2 。。双英特尔 210 网卡。相当于买网卡倒找 200 还送主板。。
单路 2011 平台,8 内存槽。自带 2011 长方形铜散热。没什么声音。自带 2 个 sata3 ,4 个 sata2 ,4 个相当于 sata3 的 scu 引出接口。4 个空焊盘。2 个 pcie x16 。计划一个接直通卡增加硬盘接口数量。

2 、机箱带电源。海鲜市场。280 。。。2u 机箱 12 个 3.5 盘位满盘架。3 条 4 盘背板。反正不热插拔差不多了。也有电容。自带 1u 电源,不管是工作还是待机只是很小的声音,几乎听不到。但是自带的 4 个风扇不仅吵,震动还很大。。。机箱本身是好几年前的 IPFS 矿机估计风扇老了。。随便买了几个安静的,直接兼容替换。风扇供电接口本来是巧妙的卡在固定外壳一起插入底部的。我换了新的风扇足够长,直接接主板。这样就可以看到每个风扇转速甚至控制他们。4 个风扇花费 75 。

3 、拿出自有的不要钱的 32g 插 4 条,满足 4 通道。128g 搞定(不知道怎么回事这玩意儿工作在 ddr800 ,换了 16g )终于 1333 了。处理器也拿出压箱底的 E5-2650v2

4 、一个 pcie x16 转 4m.2 转接卡。插入 4 个矿渣 1t 固态硬盘。4 个 sn750 1t (写入 1.8P 1.1P 0.4P 0.6P)配转接卡,海鲜市场 1600 拿下,亏不亏?

5 、一个 IBM 机器搭配的阵列卡刷的直通卡。sas2308 芯片,95 不包邮。搭配 2 根线加上邮费共 130 。

6 、硬盘还没想好。。。。打算捡 12 个 10-18T 的矿渣。

操作系统准备直接安装
oVirt
然后其他玩法跟大家差不多,也差很多。每个人玩每个人的不一样。。。
整个直通卡带着 8 个硬盘给 nas 。网口全给 openwrt 。就这样。

iperf3 只有 6Gbps 。。。单核打满。。。4 线程都一样。。
正在调试硬件。未完待续....
3437 次点击
所在节点    宽带症候群
28 条回复
huaes
2022-06-17 17:53:25 +08:00
我也打算搞几块垃圾 6TSAS 硬盘弄个 FreeNAS ,就是还在考虑装是装在服务器的 ESXI 里还是单独花一千多弄台 AMD 的小主机。。。
i3x
2022-06-17 17:55:51 +08:00
@huaes 正经用无所谓。要折腾请分开。不然倒腾数据麻烦。。。
huaes
2022-06-17 18:14:40 +08:00
@i3x HBA 卡肯定是直通的, 关键不知道 FreeNAS 要是重装导入数据完整性怎么样
i3x
2022-06-17 18:39:10 +08:00
@huaes 换系统最好全格。最佳文件系统就不一样。如果是担心 truenas 系统盘炸了重装,直接导入即可。。。他的盘也不是不可以挂在普通的 linux 下。。。
idealhs
2022-06-17 18:59:21 +08:00
一般硬盘不用的时候不也就停转休眠吗,那其实硬盘多的话平时功耗也不会怎么高的呀
hh4646908
2022-06-18 11:44:00 +08:00
@idealhs 休眠=毁盘
i3x
2022-06-18 13:36:57 +08:00
@idealhs pt 党低不了。保种的肯定是一直在转
@hh4646908 备份盘、固定数据盘倒是可以开启。。。。不怎么访问的那些。。。其他的随时可能被访问的还是保持转动吧。。。不然真的是毁盘。毕竟有访问的盘可能刚休眠就又要起转。。。比如连接电脑的机械硬盘。休眠时间太短就没什么必要。
WuSiYu
2022-06-18 19:30:26 +08:00
ovirt 好像单机部署比较麻烦,NAS 上用 pve 、unraid 的更多
alamaya
2022-06-18 20:33:45 +08:00
硬盘全是矿渣当 nas ,你存的啥东西这么不值钱吗
i3x
2022-06-18 22:00:56 +08:00
@WuSiYu 本来这玩意儿就是单机部署的。。。。openstack 之类的玩单机才麻烦。pve unraid 说白了本质都是要付费才能使用的。。。。pve 的付费源和免费源完完全全两码事有冤大头订阅过我把玩过。。。我宁可手撸 qemu-kvm 也不付费。。。。毕竟我其实也没几个虚拟机,主要都是稳定的

@alamaya 这么大容量的大批量的也就是 chia 矿渣了。。。。一个盘一个月也不带停转的。不像玩家手里的货色起起落落瞎转。。一个月读取量 18T 硬盘也就几兆。。怕什么。。。何况我的重要的文件又不止一个地方。。。重要的数据可靠性靠在线的硬盘本身可靠也就是笑话。重要数据不备份炸了怪谁。另外硬盘非常大。炸了重建时间也非常久,实在是没什么必要靠什么 raid 保护。有那空间浪费我不如 ceph 或者 rsync 多持有几份。同样的价格,你们去买京东全新的,我可以买 3 倍一样的。我 3 倍容量的硬盘就不说跑奇偶教验,平时文件多保持几份比炸了之后数据只剩独苗了心安的多吧。
我参与的场地。硬盘之前都是接在戴尔的服务器。。我不担心硬盘的过往。
14T 的西数企业盘我去拿一万四一箱。相当于 700 块钱一个,都是几乎全新的。通电时间还不到 1000 小时,这种企业硬盘也能看到读写量的。读取就几个 G ,写入也就 14T 不到,就是写满一次。我担心什么?不就相当于低格一次的写入量?盘子都是 21 年的盘,说难听点 26 年之前用枕头包着随便砸坏了,卖给售后还能赚几百吧。。。除了表面灰大点擦一下就好,几乎就是全新的盘子吧。矿渣不是你想象中的矿渣,就像一知半解的人说显卡涨价是拿去挖比特币了,不要张嘴就来。

给你科普下:
显卡挖以太坊伤的是显存,看看那些维修视频吧。真的吃核心的矿,干核心的,最多半年,核心就 BOOM 了。显存伤是因为超频搞的,为了省电,核心都是降频在干的。。。。那些锁卡或者普通卡,挖过计算矿的,才是真正的伤。伤的也不是菊花黄,主要看的是供电。。不过二手显卡这东西我不碰。除非 200 内当玩具,否则还是免了。不管矿不矿,我认为显卡是除了拿固态硬盘当缓存外最容易损坏的部件了。。。
硬盘矿也就 fil chia 之类的。。。ar 说白了本质上是一直 cpu 矿,randomx 算法跟门罗一致的。。。当然硬盘矿的固态矿渣还是不能碰。。。。。但是再恶心再恶劣的矿场,也比不过小白玩家的闷罐 RGB 机箱。。。cpu 硬盘 显卡 100 度没日没夜的通宵上网才是常态。。。。所以来路不明的二手配件心里有数就是。。

以我选择的网吧服务器板子来说。。。。绝对 100%网吧二手没跑了。js 发货的时候把机箱也发了。网吧的那种脏灰我知道,这价格没人造假。。。反倒是买崭新的要瞧仔细了。。我是主服、副服两张板子都收了。一张 300 两张 600 包邮。js 连机箱都给了。。。虽然我看不上,只有 6 盘位而且是 6GSAS 背板。
而后面买的机箱电源要不是看在机箱崭新未撕膜,正经的长城 2U ,我怎么可能会留着用呢。一个硬盘钱就可以买个全新的好电源了。

另外海鲜市场大把的几乎全新的 2U 电源都是你说的那种矿渣。你可以问,js 会大声的告诉你:chia 用过的。1/10 的全新价格,就用了几个月的,有什么大不了的。
idealhs
2022-06-19 03:25:59 +08:00
@hh4646908 @i3x
我看网上说硬盘休眠伤硬盘的并不多,为什么停转起转伤盘呢,如果停转起转伤盘的话,带 HDD 的 PC 一天开机关机个几次,这个频率也蛮高的吧。
i3x
2022-06-19 04:26:34 +08:00
@idealhs 开关机几次也就几次。。。。某些场景下一天可能几百次。。。在某些易驱线硬盘盒如果不会设置,默认 15 秒休眠,配合操作系统的缓存,一天就能干上千次。
蓝盘 C1 门还是轻的了。本来硬盘年负荷可能 200T ,经过这么折腾没跑多少就挂了。
WuSiYu
2022-06-19 04:47:32 +08:00
@i3x 我记的很久之前试过 ovirt ,安装流程里一定要我添加个远程文件系统。
我现役的折腾用的 NAS 就是 fedora server 手动挡,配合红帽那个 cockpit 面板用,不过下一台设备准备换 unraid ,一次性付费感觉也没啥。
i3x
2022-06-19 13:27:59 +08:00
@WuSiYu 要求 nfs 吧,你这个设置方式双节点起步,不过另外一个机器也不一定是 oVirt ,能提供 nfs 即可。因为你一开始数据中心的方式就设置错了。。我确实要集中化管理所以用 ovirt ,但是本地还是单机节点。直通卡直通给虚拟机。母机本身只是用 4 个板载 sata 口的盘子。nas 系统本身只提供 samba nfs 之类的基础服务,而且用户少,那么还是手撸简单。纯单机就 esxi 了。简单性能强。

pve oVirt 这类都是普通 linux 管理 kvm 虚拟化,不过一个是 deb 一个是 rh 系。除非跑自带的类似 openvz 的容器,否则 cpu 损耗不小。。。
ESXi Hyper-V 都是单独内核供虚拟化,损耗小很多。Hyper-V 虚拟双核虚拟机比物理节点本身还强,全部 cpu 都进虚拟机 cpu 性能几乎没有差别,日常误差以内。测试了国际象棋、cpu-z 。当然这两个系统提供的虚拟磁盘、网卡都是性能感人的存在。物理层硬盘 io 还没有 50%,虚拟机里已经满了,限制严重,这方面倒是 linux kvm 内核更强势。

ESXi 单机玩好方便,随便找个码都行。也可以官网免费申请。问题是绝大多数功能是群集功能,不可能白嫖的,vcenter 第一步就要联网。不在意性能,图省事,服务器板子可选(最好是有 ipmi )依赖基础主要是网卡。
大规模管理我就 oVirt 了。不管是 win 还是 linux 虚拟机 cpu 损失都不小。cpu 密集型 linux 应用我跑 lxc 容器。
而 win 为主,硬件访问少,那就 hyper-v 。这东西不要想任何直通。考虑授权甚至可以只购买一个 dc 授权无限数量激活 win 虚拟机。或者普通授权也能自动激活 2 个。无桌面的专用版本免激活,可以装好之后用其它 win 电脑的 hyper-v 客户端添加管理,或者下载微软的大号管理软件。
这三个算是不花钱用起来最舒心的。。。pve?开源订阅和付费订阅真的完全两码事。还有 unraid 不花钱的开心版也不是那么美好。。。
idealhs
2022-06-19 14:00:19 +08:00
@i3x 哦原来如此,我感觉一天就是开关个 10 次也不算啥,我设置的一小时休眠,可能 10 次都到不了。如果是你说的 15 秒就休眠了那确实一天可能干到几百次,那样确实是不太行。
huaes
2022-06-19 15:28:50 +08:00
@i3x Hyper-V SATA 硬盘可以直通网卡也可以直通的,但是得看网卡支不支持,其他 PCIE 设备没试过
i3x
2022-06-19 16:03:46 +08:00
@huaes 网卡 sr-iov 硬盘不止是 sata ,nvme 也可以,母机先脱机即可。。。pcie 直通没有 ui 需要用 powershell 。。。这些东西我都试过,但是没那么方便。对普通人来说,还是不要想着拿这个直通。直通硬盘也只是为了硬盘文件系统的干净,性能跟直接直通 pcie 还是两码事
huaes
2022-06-19 16:16:21 +08:00
@i3x 用的人少没人图形化吧,不过我用过那个直通网卡的有图形界面倒是挺方便的。而且 windows 资源调度问题太多了,普通 windows 和 windows server 能差 20%,用了段时间还是换 ESXI 了
i3x
2022-06-19 16:25:01 +08:00
@huaes hyper-v 的虚拟机。除了 CPU 性能,其他全都坑。cpu 性能几乎 0 损耗。哪怕 linux vm 。从整数、门罗算法和浮点性能上看。虽然整数浮点也吃内存内存翻译也有损失,但是在这些 CPU 负载上差异不大。国人商家 vps 一堆用这个的。如果你是说 bug10 的虚拟机还是算了吧。主动防护就干掉了不少性能。。7-11 说白了都是差不多的 nt6 内核,64 位啥都不弄就是 500M 内存的水准。多吃的内存是被什么软件吃了。。。并没有 dos 到 95 ,以及 98 xp vista 那么多的变化。2016 干出来的 win10 确实没有 12r2 的快。
inorobot
2022-06-19 16:42:56 +08:00
性能、功率、体积?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/860347

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX