群晖 NAS 磁盘读写速度的一些测试

[Sylv]

前提

近期我更换了我的群晖 NAS 里的硬盘，在选择存储空间的文件系统时不知该选 ext4 还是 Btrfs，我主要考量的是磁盘的读写性能，于是就写了个脚本测试了下我的群晖 NAS 在两种文件系统下的磁盘读写速度，顺便也测试了下其在不同 RAID 类型下的磁盘读写速度。

目录

• 说明
• 一些结论
  • TL;DR
  • 细节对比
• 测试硬件
  • 群晖 NAS
  • 硬盘
• 测试使用的脚本
• 测试脚本使用的命令
  • hdparm 读取测试
  • dd 读写测试
    • dd 读取测试
    • dd 写入测试
  • fio 读写测试
• 测试结果
  • ext4 和 Btrfs 文件系统的对比
    • BASIC 单盘
    • JBOD 四盘
    • RAID0 四盘
    • RAID1 四盘
    • RAID10 四盘
    • RAID5 四盘
    • SHR 四盘（相当于 RAID5 ）
    • RAID6 四盘
    • SHR2 四盘（相当于 RAID6 ）
  • ext4 在不同 RAID 类型下的对比
• 原始数据

说明

• 测试使用的命令和参数是从网上搜刮来的，可能并不完善。
• 测试并未严格控制变量，也未多次重复测试取平均值，结果可能存在误差，仅供参考。
• 本文使用的数据单位采用 SI 和 IEC 标准：
  • 1000 进制的 SI 标准单位：kB (1000 字节), MB (1000^2 字节), GB (1000^3 字节) ...
  • 1024 进制的 IEC 标准单位：KiB (1024 字节), MiB (1024^2 字节), GiB (1024^3 字节) ...
• 测试了 ext4 和三种选项下 Btrfs 的磁盘读写速度：
  • ext4
  • Btrfs
  • Btrfs + 校验：启用了 文件自我修复功能（启用数据总和检查码以实现高级数据完整性）
  • Btrfs + 校验 + 压缩：启用了 文件自我修复功能 + 文件压缩功能

一些结论

TL;DR

• 我最后还是选用了 ext4。
• 大部分情况下，当读写块较大时，Btrfs 的读写速度和 ext4 相差不大；但当读写块较小时，Btrfs 的速度明显劣于 ext4。
• 一些情况下，文件自我修复功能（数据总和检查码）对 Btrfs 的读写速度有影响。
• 文件压缩功能对 Btrfs 的实际读写速度无可见影响。
• RAID0 性能最佳，但提升不及预期，四盘 RAID0 性能大部分情况下达不到单盘的两倍。
• JBOD 大部分情况下性能与单盘一致，在少数小块写入测试中写入速度有明显提升。
• RAID1 在部分测试下性能略低于单盘，未见理论上的读取速度提升。
• 部分情况下，RAID10 / RAID5 / SHR / RAID6 / SHR2 的性能相比单盘有提升。
• 大部分情况下，群晖自己的 SHR / SHR2 (Synology Hybrid RAID) 与普通的 RAID5 / RAID6 相比差别不大。

细节对比

• [ext4] vs [Btrfs] vs [Btrfs + 校验] vs [Btrfs + 校验 + 压缩]：

  • hdparm 读取测试：
    • 四者无显著差别。
  • dd 读取测试：
    • 四者差别似乎不是非常明显，在不同 RAID 类型下有些许波动。
  • dd 写入测试：
    • 当测试使用大读写块（ 1 GiB、128 MiB ）时，ext4 和 Btrfs 的写入速度无显著差别，有时 Btrfs 还会略高于 ext4。
    • 当测试使用的读写块大小从 1 MiB 逐步降低时，Btrfs 的写入速度开始显著低于 ext4。最严重的情况下（ RAID5 / RAID6 + 512 字节块大小），Btrfs 的写入速度只是 ext4 的九分之一（ 20 kB/s vs 180 kB/s ）。
    • 大部分情况下，文件自我修复功能对 Btrfs 的写入速度无影响。
    • Btrfs 开启文件压缩功能后，因为 dd 写入测试写入的数据都是 0，所以会导致测试出的写入速度虚高。
  • fio 连续读取测试：
    • 大部分情况下，Btrfs 略低于 ext4。
    • 开启文件自我修复功能后，Btrfs 的读取速度会更低些。
  • fio 连续写入测试：
    • 大部分情况下，未开启文件自我修复功能的 Btrfs 略慢于 ext4。
    • 在 RAID5 / SHR / RAID6 / SHR2 下，文件自我修复功能对 Btrfs 的写入速度基本无影响。
    • 在其它 RAID 类型下，开启文件自我修复功能后，Btrfs 的写入速度明显下降，大概只有 ext4 的一半。
  • fio 随机读取测试：
    • 1 MiB 块大小时，四者差别不大。
    • 4 KiB 块大小时：
      • BASIC / JBOD / RAID1：四者差别不大。
      • RAID0 / RAID10 / RAID5 / SHR / RAID 5 / SHR2：开启文件自我修复功能后，Btrfs 的随机读取速度大幅度下降，可下降到 ext4 的十分之一（ SHR2 ）。
  • fio 随机写入测试：
    • 1 MiB 块大小时：
      • BASIC / JBOD / RAID1 / RAID5 / SHR / SHR2：四者差别不大。
      • RAID0：特例，无校验 Btrfs 的随机写入速度是 ext4 的 140%，但在开启校验后速度下降到一半。
      • RAID10：ext4 > Btrfs >> Btrfs + 校验 ≈ Btrfs + 校验 + 压缩
      • RAID6：ext4 的随机写入速度是其它三者的两倍。
    • 4 KiB 块大小时：
      • 出于某种原因，开启了校验的 Btrfs 的随机写入速度反而是 ext4 的两倍以上。

• ext4 在不同 RAID 类型下的对比：

  • 大读写块连续读取测试：
    • JBOD 和 RAID1 基本和 BASIC 单盘的读取速度一致。
    • RAID0 确实对读取速度有明显提升，但可能受制于我的群晖的机能，提升远不及理论值，四盘 RAID0 的速度只是单盘的 1.5 倍到 2 倍。
    • RAID10 / RAID5 / SHR / RAID6 / SHR2 相比单盘速度有部分提升，有的速度与 RAID0 相近。
  • 小读写块连续读取测试：
    • 所有 RAID 类型的速度无明显差别。
  • dd 写入测试：
    • RAID0 写入速度最好，块越小越明显，512 字节块大小时，其写入速度是单盘的 10 倍。
    • JBOD 在块小时的写入速度也有明显提升。
    • 其余 RAID 类型的写入速度相近，约为单盘速度。
  • fio 连续写入测试：
    • 1 MiB 块大小时：
      • RAID0 >> BASIC / JBOD / RAID10 > RAID1 / RAID5 / SHR / RAID6 / SHR2
    • 4 KiB 块大小时：
      • BASIC / JBOD > RAID0 / RAID1 / RAID10 >> RAID5 / SHR / RAID6 / SHR2
      • RAID5 / SHR / RAID6 / SHR2 只是单盘速度的近七分之一。
  • fio 随机读取测试：
    • 1 MiB 块大小时：
      • RAID0 略快一些。
      • 其它 RAID 类型速度相近。
    • 4 KiB 块大小时：
      • BASIC / JBOD / RAID1 速度相近。
      • 其它 RAID 类型速度提升明显，是单盘的 10 倍左右。
  • fio 随机写入测试：
    • 1 MiB 块大小时：
      • RAID0 提升明显，是单盘速度的 2.5 倍。
      • RAID10 是单盘的 2 倍。
      • 其它 RAID 类型差别不大。
    • 4 KiB 块大小时：
      • RAID0 相对于单盘略有提升。
      • RAID5 / SHR / RAID6 / SHR2 速度明显下降，是单盘速度的 35% 左右。

测试硬件

群晖 NAS

我的群晖 NAS 是 2013 年款的 DS1513+，五盘位，CPU 是 Intel Atom D2700 Dual Core 2.13 GHz，内存扩充到了 4 GiB，群晖系统版本是 DSM 6.2。

硬盘

测试使用的硬盘是四个 HGST 昱科的 Deskstar NAS 充氦硬盘（HGST Deskstar NAS 3.5" 10TB 7200 RPM 256MB Cache），型号是 HDN721010ALE604，容量是 10 TB，转速是 7200 RPM，缓存是 256 MiB，网上这款硬盘的评测。

测试使用的脚本

synology_disk_benchmark.sh

使用方法：

1. 保存 synology_disk_benchmark.sh 和 xfio.conf 到 NAS 上。
2. 授予脚本执行权限：

chmod +x synology_disk_benchmark.sh

1. 运行测试：

sudo ./synology_disk_benchmark.sh 测试名

1. 测试根据机能和磁盘速度的不同可能会花费数十分钟。
2. 测试结束后会生成一个结果报告文件：测试名.md。

测试脚本使用的命令

hdparm 读取测试

sudo hdparm -Tt $device

dd 读写测试

dd 读取测试

# 生成一个 1 GiB 大小的随机数据测试文件
head -c 1G </dev/urandom >test
# 清除缓存
sync; echo 3 | sudo tee /proc/sys/vm/drop_caches > /dev/null
# 从 test 文件读取，每次读取 1 MiB 数据，读取 1024 次，共读取 1 GiB 数据
dd if=test of=/dev/null bs=1M count=1024

dd 写入测试

# 写入 0 到 test 文件，每次写入 x 数据，写入 y 次，共写入 x*y 数据（ dsync 不缓存）
dd if=/dev/zero of=test bs=$x count=$y oflag=dsync

分别测试了 bs 读写块大小为 1 GiB、128 MiB、1 MiB、128 KiB、4 KiB、512 bytes 时的写入速度。

fio 读写测试

fio xfio.conf

fio 测试使用的配置文件：xfio.conf

进行了以下测试：

• 连续读取和写入，1 MiB 块大小
• 连续读取和写入，4 KiB 块大小
• 随机读取和写入，1 MiB 块大小
• 随机读取和写入，4 KiB 块大小

注：群晖内置了 fio 命令。

测试结果

ext4 和 Btrfs 文件系统的对比

BASIC 单盘

JBOD 四盘

RAID0 四盘

RAID1 四盘

RAID10 四盘

RAID5 四盘

SHR 四盘（相当于 RAID5 ）

RAID6 四盘

SHR2 四盘（相当于 RAID6 ）

ext4 在不同 RAID 类型下的对比

原始数据

原始测试结果数据

[ferock]

btrfs 比较 ext4 性能当然不行，毕竟有很多备份的特性在那里。
但是。。。
这是以后的趋势

[ryd994]

@514146235 我是 CentOS 打底，kvm 开虚拟机，pcie 直通 HBA 给 nas4free。其他服务放其他虚拟机。虚拟网络用 jumbo frame，其实开销很小。唯一缺点就是内存消耗大。但是二手服务器 ECC 内存都是白菜价。无论你是不是用 zfs，对于数据安全，ECC 内存都是非常值得的投资

我 3 年前用 btrfs 时，它就已经在内核里，而且声称 production ready 了。实际呢？意外断电后全盘无法识别。信任就是一次偶然可以毁掉的。

btrfs 那时候还号称是未来的趋势。然而到现在也没有取代 ext4，而且性能也远比不上 ext4。在我看来，btrfs 是对 zfs 的一次失败的重造轮子。
RedHat 系不再默认 ext4，而是改用了 xfs。xfs 对小文件，SSD，的性能非常好。所以用于服务器系统盘最合适。数据盘再考虑其它。

顺带一提，ext4 也可以一定程度上 SSD cache。使用 external journal。

@zn 不到 8G 也可以。只要你不开去重。NAS 都是顺序读写，瓶颈总是在带宽。1G/T+8G 是建议配置，建议而已。

[wowodavid]

瓶颈还是网络啊，万兆网关键不在设备，而在于重新装修的成本

[wtdd]

NAS 毁硬盘不是开玩笑的，建议还是保命优先，性能就随他去吧……

[ryd994]

@wtdd raid6 以上，坏就坏呗
能同时坏三块那真算我倒霉了
raid5 就算了，重建分分钟再挂一块挂给你看
该备份的还是要另外备

再推一波 wd my book，毕竟是氦气盘体

[maolaohei]

用手机看真卡,还得用电脑看

[Sylv]

@xinhangliu 我算过了这帖图片一共 25.4 MB 大小，现在流量这么便宜，用不了几毛钱。😛

[Sylv]

@hjc4869 群晖因为用的是自己的 Linux 系统，要用 iozone 等其他测试软件得自己编译，所以就用了一些自带的工具简单测试了下，日后若有其他用户进行类似测试也好有个参考。

[Sylv]

@wowodavid 据说超五类线距离不长的话是足够跑万兆的，我下一步准备试试。

[Sylv]

@wtdd 我是 RAID5 + 一比一备份。其实 NAS 配上靠谱 UPS 并没有那么容易毁硬盘的，我之前的多块硬盘 7x24 运行了四年多，一块都没出问题。

[msg7086]

NAS 跑性能测试……额。

我自己是 xfs 一把梭，公司里 NAS 用的 ZFS on Linux，虽然比原厂 ZFS 可能要不稳点，但是现在还没遇到问题。

@Sylv 我们 ZFS 服务器跑了 2 年，至今已经累计坏了 5 块了。
希捷企业级，上电的时候大概 20-25k 的 POH，现在普遍在 35-45k。
上次是两块一起坏，一起换掉以后重建的。这次是前几天刚坏了，刚换上重建的。
还是挺频繁的。

@ryd994 我选择 easystore，比 my book 好拆，而且可能会便宜点。
缺点是保修少一年，但是反正也拆开了……

[wugeng668]

UP...图全挂了。。。我想看看 ext4 和 btrfs 在群晖下 smb 速度的对比....这两天格式化硬盘选哪个 有点纠结

[Sylv]

@wugeng668 上传了个离线版本文档，请查看附言链接下载。