外接硬盘盒能用来做大数据分析吗?

2022-12-24 12:30:55 +08:00
 HarryYu

请教下各位大佬,我有一个 Mac Studio M1 Ultra ,最近可能会有大数据分析的需求,大概几个 TB 。正常可能是买个云服务器或者自己搞个台式主机,硬盘都插到主板上面,那么这样就有点浪费了 Mac Studio 了。所以想着能不能买个硬盘盒然后链接到电脑上,数据存在硬盘盒上,使用 Mac Studio 链接读取分析。

这样做可能有什么问题呢?除了链接速度慢一些。除此之外,有没有推荐的硬盘盒?谢谢各位。

2616 次点击
所在节点    程序员
12 条回复
aru
2022-12-24 12:45:29 +08:00
没什么问题,直接买移动硬盘,西数或希捷自己的品牌就行了。
MrKrabs
2022-12-24 13:06:53 +08:00
几个 TB 我猜你是机械硬盘,那 USB3.0 的 5G 速度足够
documentzhangx66
2022-12-24 13:25:50 +08:00
外接硬盘盒,有几个重要特性:

1.与非 nvme 相比,与 SATA 相比,带宽是够的,也就是说顺序读写能保证速度。

2.但随机读写,因接口特性,就很差了。如果你的大数据处理,需要大量随机读写,就不建议这么做。

3.不稳定,容易掉线。原因有很多,比如协议本身原因,其他接口设备干扰,线材质量等等。

4.外界设备如果内部缓存有坏块,写入数据就需要做二次校验,否则数据容易被无感知写坏。

题外话:

如果你要做存储扩展,上策是买 ATX 大主板,然后通过 PCIE 转 SATA 的转接卡,然后接大量的 SATA 机械磁盘或 SATA 固态磁盘。

苹果的电脑,溢价高,性价比低,除非有苹果环境的开发刚需,否则用苹果根本就不是来进行正规开发的。

真正大佬跑开发,跑数据,谁用苹果,简直搞笑。
HarryYu
2022-12-24 13:36:52 +08:00
搜了一下感觉有个 4T 的闪迪 SSD 移动硬盘不错,读写速度大概 1000MB/s 。感觉机械硬盘是不是速度太慢了,好像在 100MB 左右。

@documentzhangx66 感谢大佬专业建议,我就是随便搞搞比较业余的,正好有个苹果电脑,想着低成本弄一下。
HarryYu
2022-12-24 13:37:58 +08:00
感觉有更专业的需求之后,可以按照大佬的方案买个主板弄个机箱了,再次感谢 @documentzhangx66
closedevice
2022-12-24 14:18:19 +08:00
搞个固态 ssd 就行了,我目前就是这么用的。话说老哥 mac studio 啥配置?
limbo0
2022-12-24 15:46:36 +08:00
可以, 无非就是速度慢点,
但你说搞单机大数据就没啥意义了
HarryYu
2022-12-24 17:28:20 +08:00
@closedevice 就是 M1 Ultra 的标配
wanguorui123
2022-12-24 23:33:08 +08:00
做 NAS 都可以
lookStupiToForce
2022-12-26 11:48:47 +08:00
你实在不放心可以上个 raid 阵列柜啊,有这个啥任务搞不定,usb 3.0 口的速度也能用上
xianglifei
2022-12-28 14:30:50 +08:00
同 Mac Studio ,蹲一下楼主的方案
我倒是没有大量热存储的需求
目前用硬盘盒挂了两个 3T 的硬盘,作为冷数据的存储,基本上一个月才连接一次
但是确实机身自带的存储空间过小

之前考虑过海备思的扩容底座,可以提供 M.2 接口,跟机身的融合度也比较高
HarryYu
2023-01-05 00:00:18 +08:00
@xianglifei 我后面就买了个 4T SSD 移动硬盘,先凑活一下

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/904424

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX