[分享] 低成本打造小型创业公司用大容量 NAS

[msg7086]

前言

公司投资钱烧完了，拿不出多少钱来花。

开发部门想要用 NAS 和 SAN 来测试项目中用到的 NFS 和 iSCSI 挂载功能，大约 10 个开发&测试人员，每个人要 1T-2T 左右的 LUN 各 1-3 个，于是来问怎么搞最省钱。

现有原材料

办公楼一幢，服务器机房一间，内有空调、机架、服务器和电池若干。

闲置 DDR3 ECC 内存若干，客户返品的二手 4TB 企业级硬盘若干，各种电脑配件若干。

清理灰尘用的空气罐 2 个，螺丝刀等工具各类。

目标

组建 30-50TB 可用空间的 NAS 一台，可导出 NFS 和 iSCSI ，比较稳定，比较容易维护。

当然最重要的，性价比尽可能高，开支尽可能小。能耗也不能太高，因为电费很昂贵。

选型

做企业级 NAS ，首选使用 ZFS 文件系统，非常可靠维护也不麻烦。

Ubuntu 16.04 正式由官方提供 ZFS 支持，因此操作系统就直接用大家都熟悉的 Ubuntu 了。

考虑到现有 4TB 硬盘若干，直接上 12 盘热插拔箱子比较划算，总容量也正好合适。

ZFS RAID Z3 阵列， 12 盘里 9 盘数据 3 盘校验，总共 36TB 可用空间。

另配一块 SSD 用来做系统盘、 ZIL 和读缓冲。

硬件方面，在市场上搜寻合适的 12 盘服务器，结果找到了 DELL C2100 系列。

DELL C2100

2U 机架， 12x 3.5 inch 热插拔 & SAS Expander 背板， 750W 电源。

2x1366 平台， 18x DDR3 ECC 内存槽， 2x PCI-E x8 扩展槽。

基本能够满足要求，而且最重要的是，价格便宜。

采购

联系了一家销量比较高的卖家，带 2 块 L5630 CPU ， 12 个硬盘笼，双电源，加上运费，报价总共 $180 。

接背板所用的 HBA 卡则是随便买了块 Dell H310 ，然后回来自己刷了 IT 固件。报价 $70 左右。

SSD 随便去隔壁电脑城买了个 Sandisk 的 240G ，$65 。

安装

由于服务器是二手退役货，灰比较多，所以拿到手以后先整个用空气罐吹了一遍。

然后硬盘笼全部拆下来扔进水槽里冲洗一遍，用手甩干擦干后再放在一边慢慢风干。

散热器全部拆下以后，把干枯分叉(?)的硅脂都刮干净，然后重新上了硅脂后再装好。

（散热器上有些鳍片略有碰撞变形，最后自己拿尖嘴钳慢慢掰正。）

内存插了些 8G 的库存货。

（由于开机后发现中间槽的内存无法识别，所以最后插了 8x8G = 64G 。）

PCI-E 上插了一片 10GbE 和一片 HBA ，然后把 HBA 接到 SAS Expander 上。

最后装上 13 块硬盘，盖上盖子就大功告成了。

配置

装上 Ubuntu ，然后直接就认出了 12 片 4TB 。

一口气全部加入 zpool ，然后再加上两个 SSD 分区作 logs 和 cache ，即可。

NFS 太简单就不说了。

iSCSI 是用的 Linux-IO Target ， targetcli 稍微配置一下就行了，很方便。

现在已经连续运行两周了，并没出什么问题，应该就可以扔在那不用管了。

费用

采购费用除去闲置配件外总共花费 $315 ，算是目标达成了，老大表示很爽。

耗电的话大约是 2-3Amps ，约 300W ，一年电费开销大约在 $400 左右。

（其中硬盘大约用了 140W ，剩下的主要是 CPU 和冗余电源的开销。）

闲置配件成本

4TB 企业级全新售价大约 $175/片， 12 片总共 $2100 。

10GbE 二手售价大约 $150/片。

内存 64G 二手售价大约 $130 。

[sjmcefc2]

@msg7086 美国物价好便宜啊。不过更倾向 bsd 做一个 nas