有人配过过机房用 nas 服务器么，差不多带 100 台服务器读写

[cncmmdwl]

最近领导要我整一台文件存储服务器，给了 3w 的预算，要带 100 台电脑算模型
目前 15 台电脑 smb 共享总共每秒大概有 4.2Gbps 的流量出口
smb 上共享文件主要是图片，单张 10Mbps 左右，单次 10 万张图片跑模型
查了查商用 nas 的价格，我知道这玩意肯定是买不起了
由于前任领导留下来了 40 多个 4t 硬盘，现任领导要求全部跑起来
所以查了多方资料选择 truenas 后列了这样的一个单子

cpu 双路 intel 银牌 4215r 2 带一台集群控制虚拟机
主板 超微 x11dpl-i 1
内存 三星 ddr4-32-2400-ecc 8
内存 intel 傲腾 持久内存 128g 2
网卡 cx456a 100g*2 1
硬盘 intel p4800x 750g 1 zfs log 写缓存日志系统
三星 PM983 3.84T 1 zfs l2acr 读缓存日志

阵列卡 不知道买点啥
电源 双路冗余 750w 电源 2
阵列柜 24 盘位 raid 阵列柜 1
机箱 4u 带热插拔机柜盘 1
现在有几个问题，
1.傲腾一代二代差别在那，能和这个 u 适配么，有没有适配文档
2.zfs 有些人说 slog 只有 16g 有用，剩余空间就是没用的这条是否有误
3.由于部分照片可能重复导入，是否还需要添加一个重复文件删除用的硬盘，大概需要多大？
4.由于之前没接触过 raid，hba 卡，光口 hba 是否能装 sas-80 线等
5.sas 似乎可以接很多硬盘，只要通过扩展卡就能 1 带 128 来着，但如果用线只能一分四，这是对的么
6.pcie2.0 的阵列卡，sas3.0 会出现带宽不够问题么
7.这里阵列柜是外置的，接口是金属的，肯定不是直接从卡上接出来的，应该买什么东西接
8.目前超微 pcie 好像只有 3.0，有必要找 4.0 的 ssd 么

[KKLeon]

先收藏，企业级别的存储服务器，坐等大佬解惑

[SaltyLeo]

单子里少了个系统盘。

[sunnyadamm]

cx456a 100g*2 你这个是 ib 网络的卡吧？？？如果是 ib 网络的话，，，ib 交换机和 ib 线很贵，而且你还没有数据缓存的 ssd，读写可能会慢，，，，不过说实话我这边都买成熟的产品，虽然没组过，但是明显能看出你这少好多硬件，hba 卡也需要专门的 hba 交换机

[wizzer]

群晖 NAS 买现成的多省事

[Tianao]

看楼主配了 100G 的网卡，交换机和模块有吗，一台 100G 交换机的价格就不止 3 万了。

[KKLeon]

@wizzer 群晖这种家用级别的满足不了楼主的需求吧

[felixcode]

楼主这样配风险比较大，因为很多地方容易出现瓶颈。

@wizzer 群晖有型号能支持这样的性能吗?

[129tyc]

为啥不用 ceph 整一个存储集群呢，未来拓展起来也方便点

[wizzer]

@KKLeon 晕啊，群晖只有家用？ https://www.synology.cn/zh-cn/products?rackmount=fs%2Crs_plus%2Crs_value%2Crs_xs%2Csa%2Cuc

[wizzer]

@felixcode 不能发重复的链接，看上一条

[Ariver]

emc 才是你需要的。

[jhdxr]

@wizzer 随便点进去看了几个，都最高只有 10g 的网，不够用的。

[wizzer]

@jhdxr 1 个 PCIe 3.0，用于 25/40GbE NIC 扩展

[felixcode]

@wizzer
我猜列表里面低于三万的很少或者没有。
要接 40 块硬盘的更是不可能。

[wizzer]

@felixcode 看了下亚马逊有款 2.4 万能拿下，出厂 24 盘位，可扩展成 72，额，得算下扩展费用。

[KKLeon]

@wizzer 额，是我的偏见了，见笑了

[Tianao]

@wizzer #13 一个 PCIe 3.0 x8 也才 80G，搞笑呢？

[ryd994]

2.你有没有那么大的随机写入负荷。如果是只读或者顺序写入的话 slog 用处不大
3. 你是在说 zfs dedup ？多放内存可以用
5.对。扩展卡只要有供电就行，不需要真 pcie 槽。
7.就是直接从卡上接。找接口外置的 hba 。每个硬盘柜至少一个 expander 。expander 找有外置接口的。服务器和硬盘柜之间用 sas 线直连。如果你要高可用的话还需要考虑多个 HBA 和 expander 直接交叉组网互联

说实话我觉得单机 4.2/15*100=28G 可能真的有点难度。特别是 zfs 还要计算 xhecksum，你想 dedup 就更慢。

阵列卡只要接口数量够就行了。性能都够用，因为这是当 HBA 用，本身不参与阵列。

[zdy349]

@sunnyadamm
CX456a 印象中是以太的卡，记不太清了，不过 mellanox 的 ib 卡也可以改以太的模式（ cx6 我试过，4 、5 应该也可以） ssd 我看 lz 写了

@Tianao
一台 6855 大概几千块吧，没那么贵，就是百 G 口少了点。不过剩下的 100 台机器不知道是不是 25G 的

@cncmmdwl
1.我理解没错的话，有接 pcie 插槽的，有接内存插槽的，二代应该是指接内存插槽的吧？ v6 系列的 cpu 应该能带
6.你可以算一下硬盘总 i/o 带宽，估计 pcie2.0 会有瓶颈

[zdy349]

另外，如果在机器上跑 vm 的话，vm 里跑 io 的话，virtio 可能成为性能瓶颈