半路出家的 IT 请教一下服务器读取性能该怎么优化

2021-12-03 12:11:49 +08:00
 lovejunjie1
佬们好,我是一个影视行业的从业工作者。喜欢在家捯饬一些 linux 的东西。
最近公司有钱买了一台华为 2288H ,64G 内存,10 核 CPU ,一张 SR430 阵列卡。装了 unbuntu 18.04
我因为是最熟悉这方面的人,就被临危受命拉过去调试阵列储存什么的事情。

公司内部是万兆网的架构
网络拓扑图大概是这个样子

光猫
|
华硕 AX86U
|
1.一台 24 口千兆 RJ45 ,2SFP+交换机 - 用多模光模块多模线连接到服务器 SFP+1 号光口
2.一台 8 口万兆 RJ45 交换机 - 用 cat7 ,转接成光口连接服务器 SFP+ 2 号光口

硬盘选用的是 16TB 的西数黑盘,做了一个 R0 缓存盘给剪辑用。

客户端是 windows10 ,网卡是 TL-NT521 单口万兆 RJ45 ,M2 硬盘

经过实测,客户端向 M2 传输数据可以跑满 600MB/s 的速度。
但是从 R0 的机械盘读取数据的时候只有 160MB/s 的速度。

我一度以为这是机械盘在 R0 的时候,随机读取性能过差造成的。

但是似乎也太慢了。

所以特地来这里请教一下各位大神,这个情况正常么?
如果可能的话,这个体系还有没有可能优化?
R0 的阵列是缓存盘。里面的数据都无所谓。所以把这个 R0 格掉也是可以的。
我的目标速度是大文件 400MB/s 的读取速度。希望能给同事在服务器上 4K 剪辑的可能性。

再次感谢能进来看帖子的你,十分感谢
2448 次点击
所在节点    服务器
22 条回复
sorsens
2021-12-04 10:27:46 +08:00
额,看着好像是:
设置里一个缓存写入盘,想要读出速度也快,直接再来一个 ssd 组成 r1 就好了。
r1 做成缓存盘
其实不一定要上服务器,群晖这些设置好了也很方便
lovejunjie1
2022-03-25 00:04:16 +08:00
@kokutou
@gam2046
@ccde8259
@choury
感谢各位佬三个月前的帮助。最近我解决了这个问题了。现在上传和下载的速度都能跑满机械硬盘的极限了。
实际上硬件和软件在 SMB 或者传输协议或者 MTU 或者阵列策略缓存什么的方面,都没有问题。

真正的问题出在了硬盘挂载上。说起来可能有点扯淡。因为断电之后再启动,硬盘的 /dev/sd*对应的硬盘 UID 产生了变化。而我之前的硬盘自动挂载写的是逻辑挂载点。所以造成了目录映射的错误。
这个错误其中的一个表现就是,若要访问我认为在其中某一个盘的中的数据时,所有的硬盘读取灯都在亮。所以我猜测着大概率是在全盘寻址,因为逻辑问题造成的读取效率低下。
直到上个月我才发现了这个情况,十分惭愧。我这个不专业的 IT 给各位添麻烦了。
当我把硬盘映射从逻辑挂载点,重置到 UID 后。我的目录映射正确了。读取文件时,硬盘的指示灯也正确了。上传下载时候的速度也对了。经过这一个月的观察,确信了这件事情。

最后再次感谢各位的帮助。谢谢。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/819759

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX