求助求助！阿里云服务器磁盘 IO 读经常突然飙到 100%，然后系统无响应。通过 iotop 又找不到哪个进程占用过多。

2021-10-20 15:42:38 +08:00
 qwerthhusn

背景

IOTOP 描述

因为每天都要遇到一两次，然后我跑了一个iotop -b -o -t -d 5 > dump.txt &然后等再次发生，果然发生了，重启了，看到了 Disk IO 占用。我发现磁盘占满的那段时间内，找不到特别突出的进程线程，很多线程都是读速率在两三 M/s 。平常这些线程进程的读速率基本上是 0 。

系统里面跑了很多软件，Spring Boot，MySQL, Redis, Minio, go 应用, emqx 等。关键是这些进程都在吃 IO，每个读取速率都是两三 M/s 。所以请求大佬来看一下，指点迷津！！

12:34:05 Total DISK READ:       182.26 M/s | Total DISK WRITE:       119.75 
12:34:05 Current DISK READ:     186.53 M/s | Current DISK WRITE:     125.37 
    TIME  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN      IO    COMMA
12:34:05  8444 be/4 psip        2.48 M/s    0.00 B/s  0.00 % 99.04 % beam.sm
12:34:05 12839 be/4 root        2.44 M/s    0.00 B/s  0.00 % 98.99 % java -D
12:34:05  8441 be/4 psip     1889.68 K/s    0.00 B/s  0.00 % 98.97 % beam.sm
12:34:05 24098 be/4 psip        2.96 M/s    0.00 B/s  0.00 % 98.72 % curl ht
12:34:05  8446 be/4 psip        2.03 M/s    0.00 B/s  0.00 % 98.71 % beam.sm
12:34:05  8445 be/4 psip        2.15 M/s    0.00 B/s  0.00 % 98.52 % beam.sm
12:34:05 14206 be/4 zhys        2.66 M/s    0.00 B/s  0.00 % 98.17 % mysqld
12:34:05  3408 be/4 root     1534.19 K/s    0.00 B/s  0.00 % 97.99 % minio s
12:34:05 14207 be/4 zhys        2.72 M/s    0.00 B/s  0.00 % 97.93 % mysqld
12:34:05  3432 be/4 root     1665.20 K/s    0.00 B/s  0.00 % 96.09 % minio s
12:34:05  2097 be/4 systemd-    2.74 M/s    0.00 B/s  0.00 % 95.85 % redis-s
12:34:05  2970 be/4 root        2.05 M/s    0.00 B/s  0.00 % 95.74 % minio s
12:34:05 13382 be/4 root        2.63 M/s    5.94 K/s  0.00 % 94.65 % java -D
12:34:05  3060 be/4 root     1759.93 K/s    0.00 B/s  0.00 % 94.49 % minio s
12:34:05  3871 be/4 root     1776.81 K/s    0.00 B/s  0.00 % 92.10 % minio s
12:34:05  2965 be/4 root     1695.21 K/s    0.00 B/s  0.00 % 91.82 % minio s
12:34:05  3814 be/4 root     1308.14 K/s    0.00 B/s  0.00 % 90.26 % minio s
12:34:05 14134 be/4 root        2.52 M/s    0.00 B/s  0.00 % 89.58 % ./mtapi
12:34:05 13949 be/4 root      447.41 K/s    0.00 B/s  0.00 % 88.58 % java -D
12:34:05 13440 be/4 root      343.29 K/s    0.00 B/s  0.00 % 88.47 % java -D
12:34:05 12855 be/4 root      368.93 K/s    0.00 B/s  0.00 % 88.30 % java -D
12:34:05 13877 be/4 root      462.10 K/s    0.00 B/s  0.00 % 88.25 % java -D
12:34:05  2365 be/4 root     1691.46 K/s    0.00 B/s  0.00 % 84.96 % minio s
12:34:05 14020 be/4 zhys        2.32 M/s    0.00 B/s  0.00 % 84.44 % mysqld
12:34:05 14033 be/4 root        2.04 M/s  640.32 B/s  0.00 % 84.11 % java -D
12:34:05 13873 be/4 root      383.63 K/s   10.94 K/s  0.00 % 83.05 % java -D
12:34:05 13871 be/4 root      330.48 K/s   10.94 K/s  0.00 % 82.65 % java -D
12:34:05 14036 be/4 root      251.37 K/s   11.57 K/s  0.00 % 82.40 % java -D
12:34:05 13180 be/4 root      332.66 K/s   10.94 K/s  0.00 % 82.39 % java -D
12:34:05 13578 be/4 root      305.15 K/s   11.26 K/s  0.00 % 82.27 % java -D
12:34:05 13406 be/4 root      269.51 K/s   11.26 K/s  0.00 % 82.15 % java -D
12:34:05 12841 be/4 root      231.68 K/s   11.88 K/s  0.00 % 82.15 % java -D
12:34:05 14026 be/4 root     2026.94 K/s    0.00 B/s  0.00 % 80.44 % java -D
12:34:05 13159 be/4 root     1495.74 K/s    2.19 K/s  0.00 % 78.83 % java -D
12:34:05  2839 be/4 root     1306.58 K/s    0.00 B/s  0.00 % 77.57 % minio s
12:34:05 13396 be/4 root      403.01 K/s    0.00 B/s  0.00 % 73.34 % java -D
12:34:05 13839 be/4 root      407.39 K/s    0.00 B/s  0.00 % 73.26 % java -D
12:34:05 13564 be/4 root      327.97 K/s    0.00 B/s  0.00 % 73.25 % java -D
12:34:05 12831 be/4 root      506.19 K/s    0.00 B/s  0.00 % 70.95 % java -D
12:34:05 24054 be/4 root     1658.32 K/s    0.00 B/s  0.00 % 70.37 % java -D
12:34:05  3428 be/4 root     1128.37 K/s    0.00 B/s  0.00 % 70.22 % minio s
12:34:05 14262 be/4 root      471.17 K/s    0.00 B/s  0.00 % 69.96 % java -D
12:34:05 13854 be/4 root     1483.86 K/s    3.75 K/s  0.00 % 69.45 % java -D
12:34:05 13623 be/4 root      358.30 K/s    0.00 B/s  0.00 % 68.73 % java -D
12:34:05 14333 be/4 root      273.26 K/s    0.00 B/s  0.00 % 68.13 % java -D
12:34:05 14326 be/4 root      274.20 K/s    0.00 B/s  0.00 % 67.62 % java -D
12:34:05  3982 be/4 root     1476.35 K/s    0.00 B/s  0.00 % 65.15 % minio s
12:34:05 14400 be/4 zhys     1831.84 K/s    0.00 B/s  0.00 % 64.84 % mysqld
12:34:05 13359 be/4 root     1918.76 K/s 1280.63 B/s  0.00 % 64.32 % java -D
12:34:05   854 be/2 root        7.38 M/s    0.00 B/s  0.00 % 62.73 % AliYunD
12:34:05 21119 be/4 root        8.14 M/s    5.32 K/s  0.00 % 58.38 % python3
12:34:05 14362 be/4 zhys     1518.25 K/s    0.00 B/s  0.00 % 56.17 % mysqld
12:34:05 13757 be/4 zhys     1156.51 K/s    0.00 B/s  0.00 % 55.86 % mysqld
12:34:05  2906 be/4 root     1172.77 K/s    0.00 B/s  0.00 % 54.87 % minio s
12:34:05 14068 be/4 root      223.23 K/s    0.00 B/s  0.00 % 53.19 % java -D
12:34:05 14283 be/4 root      963.60 K/s    0.00 B/s  0.00 % 52.01 % java -D
12:34:05 13966 be/4 zhys     1648.31 K/s    0.00 B/s  0.00 % 51.51 % mysqld
12:34:05 24080 be/4 root     1253.12 K/s    0.00 B/s  0.00 % 50.58 % java -D
12:34:05 24095 be/4 root     1298.76 K/s    0.00 B/s  0.00 % 48.91 % java -D
12:34:05 24075 be/4 root     1210.28 K/s    0.00 B/s  0.00 % 46.67 % java -D
12:34:05 13925 be/4 root      258.25 K/s    0.00 B/s  0.00 % 46.58 % java -D
12:34:05 13177 be/4 root     1190.27 K/s    0.00 B/s  0.00 % 46.50 % java -D
12:34:05   772 be/4 root        5.74 M/s  960.47 B/s  0.00 % 45.72 % aliyun-
12:34:05 13365 be/4 root     1103.04 K/s    0.00 B/s  0.00 % 42.59 % java -D
12:34:05 14021 be/4 root      893.25 K/s 1920.95 B/s  0.00 % 40.61 % java -D
12:34:05 14018 be/4 root      151.64 K/s    0.00 B/s  0.00 % 39.66 % java -D
12:34:05  2306 be/4 root        3.48 M/s    0.00 B/s  0.00 % 38.32 % dockerd
12:34:05 14414 be/4 root      101.93 K/s    0.00 B/s  0.00 % 37.98 % java -D
12:34:05   853 be/2 root        3.18 M/s    0.00 B/s  0.00 % 36.45 % AliYunD
12:34:05 14363 be/4 root      191.97 K/s    0.00 B/s  0.00 % 35.80 % java -D
12:34:05 13356 be/4 root      906.38 K/s    0.00 B/s  0.00 % 35.42 % java -D
12:34:05   850 be/2 root        3.39 M/s    0.00 B/s  0.00 % 33.31 % AliYunD
12:34:05 13755 be/4 zhys      293.58 K/s    0.00 B/s  0.00 % 32.86 % mysqld
12:34:05 13756 be/4 zhys      308.59 K/s    0.00 B/s  0.00 % 32.61 % mysqld
12:34:05 13754 be/4 zhys      198.54 K/s    0.00 B/s  0.00 % 32.60 % mysqld
12:34:05 13853 be/4 root      207.29 K/s    0.00 B/s  0.00 % 31.58 % java -D
12:34:05   881 be/2 root        3.83 M/s    0.00 B/s  0.00 % 30.80 % AliYunD
12:34:05 13987 be/4 zhys      839.79 K/s    0.00 B/s  0.00 % 28.86 % mysqld
12:34:05 14230 be/4 root      546.52 K/s    0.00 B/s  0.00 % 28.64 % java -D
12:34:05 13416 be/4 root       97.55 K/s    0.00 B/s  0.00 % 27.82 % java -D
12:34:05   860 be/2 root        3.08 M/s    0.00 B/s  0.00 % 27.75 % AliYunD
12:34:05 13591 be/4 zhys      120.37 K/s    0.00 B/s  0.00 % 26.13 % mysqld
12:34:05 13597 be/4 zhys       70.35 K/s    0.00 B/s  0.00 % 26.12 % mysqld
12:34:05 13593 be/4 zhys       61.59 K/s    0.00 B/s  0.00 % 26.12 % mysqld
12:34:05 13594 be/4 zhys       46.90 K/s    0.00 B/s  0.00 % 26.11 % mysqld
12:34:05 13589 be/4 zhys       38.46 K/s    0.00 B/s  0.00 % 26.11 % mysqld
12:34:05 13595 be/4 zhys       68.78 K/s    0.00 B/s  0.00 % 26.10 % mysqld
12:34:05 13592 be/4 zhys       65.34 K/s    0.00 B/s  0.00 % 26.09 % mysqld
12:34:05 13590 be/4 zhys       60.03 K/s    0.00 B/s  0.00 % 26.09 % mysqld
12:34:05 13598 be/4 zhys       91.92 K/s    0.00 B/s  0.00 % 26.08 % mysqld
12:34:05 13596 be/4 zhys       60.34 K/s    0.00 B/s  0.00 % 26.07 % mysqld
12:34:05 13614 be/4 zhys      115.06 K/s    0.00 B/s  0.00 % 25.28 % mysqld
12:34:05 13611 be/4 zhys       58.47 K/s    0.00 B/s  0.00 % 25.27 % mysqld
12:34:05 13613 be/4 zhys      100.05 K/s    0.00 B/s  0.00 % 25.26 % mysqld
12:34:05 13608 be/4 zhys      112.87 K/s    0.00 B/s  0.00 % 25.25 % mysqld
12:34:05 13601 be/4 zhys       76.29 K/s    0.00 B/s  0.00 % 25.24 % mysqld
12:34:05 13612 be/4 zhys       99.42 K/s    0.00 B/s  0.00 % 25.22 % mysqld
12:34:05 13602 be/4 zhys       64.72 K/s    0.00 B/s  0.00 % 25.18 % mysqld
12:34:05 13600 be/4 zhys       65.34 K/s    0.00 B/s  0.00 % 25.14 % mysqld
12:34:05   689 be/4 root        3.47 M/s    0.00 B/s  0.00 % 23.75 % aliyun-
12:34:05 13599 be/4 zhys      340.17 K/s    0.00 B/s  0.00 % 23.49 % mysqld
12:34:05   885 be/2 root     1241.55 K/s    0.00 B/s  0.00 % 22.78 % AliYunD
12:34:05 14493 be/4 zhys      674.39 K/s    0.00 B/s  0.00 % 22.26 % mysqld
12:34:05   688 be/4 root        3.68 M/s    0.00 B/s  0.00 % 22.03 % aliyun-
12:34:05 14301 be/4 root      498.37 K/s    0.00 B/s  0.00 % 21.94 % java -D
12:34:05   771 be/4 root        2.63 M/s    0.00 B/s  0.00 % 21.66 % aliyun-
12:34:05 13894 be/4 zhys      553.40 K/s    0.00 B/s  0.00 % 21.51 % mysqld
12:34:05   783 be/4 root        2.13 M/s    0.00 B/s  0.00 % 21.27 % AliYunD
12:34:05   883 be/2 root     1234.36 K/s    0.00 B/s  0.00 % 21.19 % AliYunD
12:34:05  8723 be/4 psip      517.44 K/s    0.00 B/s  0.00 % 20.93 % tail -f
12:34:05 14260 be/4 root      105.99 K/s    0.00 B/s  0.00 % 20.23 % java -D
12:34:05 14241 be/4 root      458.66 K/s    0.00 B/s  0.00 % 20.21 % java -D
12:34:05 13158 be/4 root       93.17 K/s    0.00 B/s  0.00 % 19.95 % java -D
12:34:05 14457 be/4 zhys      632.81 K/s    0.00 B/s  0.00 % 19.91 % mysqld
12:34:05 24083 be/4 root      313.90 K/s    0.00 B/s  0.00 % 19.73 % java -D
12:34:05 14193 be/4 root      431.78 K/s    0.00 B/s  0.00 % 19.62 % ./mtapi
12:34:05 14264 be/4 root      121.00 K/s    0.00 B/s  0.00 % 18.56 % java -D
12:34:05 14288 be/4 root      126.31 K/s    0.00 B/s  0.00 % 18.34 % java -D
12:34:05 14285 be/4 root       54.09 K/s    0.00 B/s  0.00 % 18.34 % java -D
12:34:05 14243 be/4 root      116.93 K/s    0.00 B/s  0.00 % 18.32 % java -D
12:34:05 13162 be/4 root      155.70 K/s    0.00 B/s  0.00 % 18.31 % java -D
12:34:05   877 be/2 root     1582.03 K/s    0.00 B/s  0.00 % 18.09 % AliYunD
12:34:05  8428 be/4 psip      377.06 K/s    0.00 B/s  0.00 % 17.71 % beam.sm
12:34:05 13884 be/4 root      227.61 K/s    0.00 B/s  0.00 % 17.22 % java -D
12:34:05 13411 be/4 root      211.04 K/s    0.00 B/s  0.00 % 16.77 % java -D
12:34:05 13792 be/4 root      330.79 K/s    0.00 B/s  0.00 % 16.77 % java -D
12:34:05 14295 be/4 root      401.14 K/s    0.00 B/s  0.00 % 16.57 % java -D
12:34:05 13849 be/4 root       64.09 K/s    0.00 B/s  0.00 % 16.20 % java -D
12:34:05 13565 be/4 root       79.73 K/s    0.00 B/s  0.00 % 16.20 % java -D
12:34:05 12833 be/4 root       80.35 K/s    0.00 B/s  0.00 % 16.20 % java -D
12:34:05 13398 be/4 root       71.91 K/s    0.00 B/s  0.00 % 16.16 % java -D
12:34:05   816 be/4 root        2.30 M/s    0.00 B/s  0.00 % 15.94 % python3
12:34:05 14499 be/4 zhys      427.71 K/s    0.00 B/s  0.00 % 15.90 % mysqld
12:34:05 13015 be/4 root      101.93 K/s    0.00 B/s  0.00 % 15.86 % java -D
12:34:05 14090 be/4 root       70.66 K/s    0.00 B/s  0.00 % 15.21 % java -D
12:34:05 14091 be/4 root      101.93 K/s    0.00 B/s  0.00 % 15.21 % java -D
12:34:05 13846 be/4 root      121.94 K/s    0.00 B/s  0.00 % 15.18 % java -D
12:34:05   884 be/2 root     1064.90 K/s    0.00 B/s  0.00 % 15.03 % AliYunD
12:34:05   857 be/2 root     1427.58 K/s    0.00 B/s  0.00 % 14.93 % AliYunD
12:34:05  1836 be/4 root      997.37 K/s    0.00 B/s  0.00 % 14.82 % dockerd
12:34:05 14312 be/4 root      277.01 K/s    0.00 B/s  0.00 % 14.70 % java -D
12:34:05   862 be/4 root     1163.70 K/s    0.00 B/s  0.00 % 14.64 % dockerd
12:34:05  2417 be/4 root     1117.74 K/s    0.00 B/s  0.00 % 14.53 % dockerd
12:34:05 14192 be/4 root      310.78 K/s    0.00 B/s  0.00 % 14.53 % ./mtapi
12:34:05 14280 be/4 root      139.76 K/s    0.00 B/s  0.00 % 14.32 % java -D
12:34:05   880 be/2 root      643.44 K/s    0.00 B/s  0.00 % 14.17 % AliYunD
12:34:05   865 be/4 root     1049.89 K/s    0.00 B/s  0.00 % 14.12 % dockerd
12:34:05 13753 be/4 zhys      401.76 K/s    0.00 B/s  0.00 % 13.81 % mysqld
12:34:05   867 be/2 root        3.05 M/s    0.00 B/s  0.00 % 13.81 % AliYunD
12:34:05   882 be/2 root      678.15 K/s    0.00 B/s  0.00 % 13.72 % AliYunD
12:34:05 14233 be/4 root       25.01 K/s    0.00 B/s  0.00 % 13.57 % java -D
12:34:05 14191 be/4 root      347.67 K/s    0.00 B/s  0.00 % 13.07 % ./mtapi
12:34:05 14265 be/4 root       56.59 K/s    0.00 B/s  0.00 % 12.93 % java -D
12:34:05 13016 be/4 root       81.29 K/s    0.00 B/s  0.00 % 12.63 % java -D
12:34:05   788 be/4 root     1631.74 K/s    0.00 B/s  0.00 % 12.63 % contain
12:34:05   852 be/4 root     1027.69 K/s    7.19 K/s  0.00 % 12.54 % AliYunD
12:34:05   686 be/4 root      943.59 K/s    0.00 B/s  0.00 % 12.15 % aliyun-
12:34:05 13893 be/4 zhys      267.32 K/s    0.00 B/s  0.00 % 11.99 % mysqld
12:34:05   822 be/4 root     1201.22 K/s    0.00 B/s  0.00 % 11.60 % contain
12:34:05 24101 be/4 root      257.63 K/s    0.00 B/s  0.00 % 11.39 % java -D
12:34:05   785 be/4 root      827.28 K/s    0.00 B/s  0.00 % 11.20 % contain
12:34:05 14234 be/4 root       68.47 K/s    0.00 B/s  0.00 % 11.00 % java -D
12:34:05 14200 be/4 root      111.30 K/s    0.00 B/s  0.00 % 10.86 % java -D
12:34:05 14199 be/4 root      138.19 K/s    0.00 B/s  0.00 % 10.85 % java -D
12:34:05 24079 be/4 root      286.70 K/s    0.00 B/s  0.00 % 10.67 % java -D
12:34:05   869 be/2 root     1048.33 K/s    0.00 B/s  0.00 % 10.65 % AliYunD
12:34:05 14224 be/4 root      200.72 K/s    0.00 B/s  0.00 % 10.17 % java -D
12:34:05   780 be/4 root     1172.45 K/s    0.00 B/s  0.00 %  9.78 % assist_
12:34:05   855 be/2 root     1118.99 K/s    0.00 B/s  0.00 %  9.76 % AliYunD
12:34:05 14335 be/4 root      109.12 K/s    0.00 B/s  0.00 %  9.60 % java -D
12:34:05 14290 be/4 root       75.35 K/s    0.00 B/s  0.00 %  8.56 % java -D
12:34:05 14060 be/4 root       44.40 K/s    0.00 B/s  0.00 %  8.41 % java -D
705 次点击
所在节点    程序员
3 条回复
qwerthhusn
2021-10-20 15:55:59 +08:00
我感觉我是不是被太多人屏蔽了，还是被系统降级了


最近发的贴基本上都是秒沉。。。。。。。。。
qwerthhusn
2021-10-20 16:04:48 +08:00
12:23:19 21119 be/4 root 1479.38 K/s 12.52 K/s 0.00 % 0.87 % python3 /usr/sbin/iotop -b -o -t -d 5
qwerthhusn
2021-10-20 16:05:29 +08:00
我发现 iotop 的磁盘读取速度竟然也能打到 1M/s 多，，，

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/809232

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX