linux 下面文件读取效率不稳定,有办法破吗?

2015-04-20 17:33:29 +08:00
 wuxqing
有个大分区,下面有400万个文件,分散在65536个文件夹下面
单进程随机打开一个文件,读取20KB,连续读取1小时。
测试结果:
大多数(98.5%)是在<20ms
有些会到200ms

很意外的是,尽然有>1s,甚至是2s的
这是啥情况?

测试环境:
OS:CentOS 6.4
CPU:Xeon E5-2600 v2 X2
MEM: 64G
RAID: LSI 9260-8I 6GB 8口 512MB
DISK: SAS 4TB X 24
做了raid 6,分区是xfs类型
4407 次点击
所在节点    Linux
22 条回复
wuxqing
2015-04-24 15:45:49 +08:00
@ryd994
配置deadline
echo deadline > /sys/block/{devname}/queue/scheduler

也尝试了在grub中配置

iops没记录,不清楚卡的时候高不高。 回头测一下
服务器用fio测试20k的块,40线程iops能到3000
我的测试程序是单进程的,测试时iops才80
ryd994
2015-04-24 20:55:42 +08:00
@wuxqing 试试在sysfs里减小read_expire

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/185005

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX