如果有几百个 T 的数据,硬件应该如何选配?

2023-06-10 16:11:36 +08:00
 dw2693734d

准备买 20 个 SN640 8T 放在本地电脑上

数据库的数据分片在每个硬盘上

但是电脑接口有限, 怎么把 20 个硬盘连到电脑上?

3301 次点击
所在节点    硬件
27 条回复
acctv2
2023-06-10 16:33:17 +08:00
PCIE 拓展卡就能解决。

我很好奇个人怎么有几百 t 的高频读取的数据
dw2693734d
2023-06-10 16:45:29 +08:00
@acctv2 区块链
labnotok
2023-06-10 18:52:23 +08:00
不考虑机械企业盘吗,成本低 2/3
dw2693734d
2023-06-10 18:58:28 +08:00
@labnotok 太慢了😂
ruixue
2023-06-10 19:08:51 +08:00
epyc 吧,128 条 pcie ,走转接的方案上 20 来块还是没问题的,就是注意做好散热,u2 的企业盘散热不是那么好压的,即使是最凉快的 sn640~
Damn
2023-06-10 19:31:36 +08:00
SN640 格式化后差不多 7t 可用空间,20*7=140t ,离几百 t 还差了点。
楼主是不是应该考虑用量天尺( E1.L ,类似 PE8111 这种)?
GPU
2023-06-10 19:39:05 +08:00
@Damn #6 这个 PE8111 个人估计都很难买到。
YaakovZiv
2023-06-10 19:51:47 +08:00
我自己是借用公司的机柜,搞了一个机架服务器插盘做存储服务器。走光交,自己电脑用塔式服务器插光模块
0o0O0o0O0o
2023-06-10 19:52:59 +08:00
好奇是做什么链的数据分析需要几百 T ?感觉在意速度的节点应该都是几个 T 就够了,就算是存档节点也要不了这么大啊
dw2693734d
2023-06-10 20:05:20 +08:00
@0o0O0o0O0o 和 dune 差不多的
dw2693734d
2023-06-10 20:11:56 +08:00
@ruixue 请恕我见识短浅,我淘宝搜了下,epyc 好像是 amd 的 cpu😂
seeleling
2023-06-10 23:02:11 +08:00
PCIE 拓展卡解决问题。
Tianao
2023-06-10 23:24:48 +08:00
楼主需要 Direct-Attached Storage (DAS).
l1ve
2023-06-10 23:55:09 +08:00
EMC 考虑一下?
MAKF
2023-06-11 00:52:41 +08:00
多 node ?
就算是 Archive Node ,啥链几百 T ?求教
ryd994
2023-06-11 04:04:53 +08:00
@dw2693734d 人家就是让你买 epyc 的 CPU 和配套的平台
pcie 通道数受 CPU 限制。一般桌面平台只有 20 条,也就是 5 块盘,每块 x4 lane 。而且显卡也需要 pcie ,你插满 20 lane 就不用干别的了。
服务器平台都是 40 条 128 条这样。如果不够还能双 CPU 。

桌面平台一定要怎么办,也有办法,plx switch 。但是这个芯片很贵。而且不能增加总带宽,只是能多设备共享带宽而已。所以完全不值。

如果你对 CPU 性能要求不高的话(比如 GPU ML ),那可以用洋垃圾平台,也就是上一代或者上几代的服务器平台。白菜价。单核性能差,不适合打游戏。但是堆核心打打桌面平台还是不成问题的。
如果对 CPU 性能要求高,那就只能花钱买新服务器了。
ltkun
2023-06-11 06:39:04 +08:00
pcie 直通卡 几百块都可以直接连 配合硬盘笼串联 咸鱼搜硬盘笼 几千就可以 100 多块硬盘
dw2693734d
2023-06-11 08:23:53 +08:00
@ryd994 多谢大佬
dw2693734d
2023-06-11 08:24:44 +08:00
@MAKF 把节点的数据转到 Postgres 里,查考 dune, k 线,交易记录之类的
ruixue
2023-06-11 10:32:36 +08:00
@dw2693734d 是的,#16 已经帮忙解释了,家用平台 pcie 通道数有限,没有特别好的方案能充分发挥 20 块 sn640 的速度,只能直接换服务器平台,而 epyc 是比较合适的选择

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/947553

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX