求一个多硬盘(> 40 块)的本地解决方案

2018-12-01 20:48:02 +08:00
 annoy1309

工作需要,有大于 100T 级别的数据需要低实时处理(要求时延 1 分钟内),处理其实不是 CPU 密集( i3 都跑不满),也不算 IO 密集,但是不可预测到底在哪个盘里
就是需要保持这些盘处于可用状态
目前已有:3T 盘 X20+,4T 盘 X10+,各种其他容量的硬盘( 1t,2t,5t)小于 10 块
商业级别的阵列柜太贵了,支持 30+盘的价格都是 5w 起步,sata 扩展卡也考虑过,看了下 tb,最多支持 4 口的扩展,有点少
想的是挖矿有那种 16+pcie 口的主板
有没有原生支持 50+SATA 接口的家用主板或者台式?或者说有没有什么解决方案可以帮助?

3152 次点击
所在节点    问与答
21 条回复
dream7758522
2018-12-01 21:38:36 +08:00
廉价 pc 搭建局域网?同样局域网访问硬盘?
dream7758522
2018-12-01 21:38:54 +08:00
通过局域网访问硬盘
C2G
2018-12-01 21:49:11 +08:00
12sata 口的 j1900 集成主板多来几块,然后网络访问( smb/其他)。这主板不知道还能不能再加扩展卡
feverzsj
2018-12-01 21:51:56 +08:00
jd 上硬盘盒 40 元一个,在买几个 usb hub,linux 下可以用 lvm 把所有硬盘合并成一个分区,2000 以内可以搞定,不过任何一个硬盘的损坏或丢失,都可能导致大量文件的失效
C2G
2018-12-01 21:51:57 +08:00
@C2G 单主板的话不太实际。除了上面的方案我能想到的就是 pci 再拓展了。pci 拓展还可以再一拖四,但是只有 sata2 还是 sata1 的速度。也可以看看能不能把 pciex16 分成 16 个 pcie 插扩展卡(一下子多了 64 个 sata 口)
7654
2018-12-01 21:54:45 +08:00
msi 有一款挖矿主板,拥有 1 个 pci x16、12 个 pci x1 插槽
H310-F Pro
zander
2018-12-01 21:59:50 +08:00
SE326M1,25 盘位,2000 内可以搞定。
swulling
2018-12-01 21:59:52 +08:00
奥睿科的八盘位的外置 USB 3.0 的硬盘盒大概 1900,四十个盘买五个就够了
alvin666
2018-12-01 22:00:12 +08:00
@7654 阵列卡好像 x1 塞不进去(?)


如果是 sas,阵列卡一个能带很多,但是 sata 就比较麻烦了,我觉得多个小千兆主板做存储集群可行。
7654
2018-12-01 22:17:21 +08:00
@alvin666 #9 延长线
矿卡都是这样延伸出来的
gefranks
2018-12-01 22:25:45 +08:00
配这个之前首先是你盘上数据的重要性, 是不是要上 raid, 上 raid 几, 读写速度上有没有要求.
要是数据又重要, 写又多, 速度还有要求, 那就没便宜的方案了.

1. 看看国鑫 24 盘位带 SAS expander 的机箱, 搭几个存储服务器.
如果你不组任何阵列的话那应该这些盘就设成 RAID0 来访问.
2. 要挂在一个机器上的话看看淘宝上还有没有 rackable 16 盘位的机柜了, 配外置 SAS 卡,可以几个柜子连起来.
3. 超微有个板子 16 个 SATA 口, 但挺贵的.
4. 奥睿科的东西不推荐, 容易坏盘. 以前用个 orico 的东西上面带了个自动休眠功能.搞坏 2 块盘,软损坏, 数据全灭, 虽然能恢复吧.但是烦.

我用过的 SATA 盘基本上都能接 SAS 卡上, 有 1 SAS 转 4 STAT 的线.
如果不上 RAID 都是单盘的话, 那还要看 raid/hba 卡是不是支持单盘 RAID0. 我以前用过一些 LSI 的是支持的. 当时专门弄了一个 raid0 的盘位,插了个盘用来传递数据.

以上皆为个人见解, 不喜勿喷.
daocheng
2018-12-01 22:44:21 +08:00
分布式文件系统? HDFS
mhycy
2018-12-01 22:51:34 +08:00
二手服务器方案的阵列卡是个好东西(虽说以下推荐的柜子是全新的)

便宜货柜子做 expander+阵列卡
例如这个
https://item.taobao.com/item.htm?id=14763379379

阵列卡用 LSI 9286CV-8eCC / DELL H730P
再买个便宜货服务器做主机,上架....
稳定靠谱美滋滋..
Wenpo
2018-12-01 22:53:03 +08:00
某宝关键词 IPFS 主板
mhycy
2018-12-01 22:59:14 +08:00
flynaj
2018-12-01 23:49:35 +08:00
多口无盘服务器。三台左右就可以了。
ryd994
2018-12-02 03:54:50 +08:00
@alvin666 你需要的是 sas hba+expander
hba 有半高的。而且你看到只有 4 口,那是不对的。一般 sas hba 是 2-4 个 minisas,每个 minisas 是 4 个 sas port。但是,你这个需求哪怕一个 sas port 都足够。因为可以接 expander。每个 sas port 可以接 256 个设备。只不过他们贡献带宽,所以一般还是多配几张 expander

expander 虽然是全高,但其实不需要 pcie,只需要供电。可以买供电转接板。
snnn
2018-12-02 09:06:30 +08:00
要我肯定选 HDFS。多主机。
greenskinmonster
2018-12-02 13:05:42 +08:00
annoy1309
2018-12-02 14:10:54 +08:00
@7654 我要的是 SATA 不是 pcie
@zander 好的我去 tb 看看
@gefranks 对速度几乎无要求,30MB/s 这种数量级就没问题了。
@swulling 奥睿科的东西质量太不行了,不靠谱
@ryd994 感谢,我去了解一下相关

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/513411

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX