请教个定时任务处理问题

[brader]

有批晚上跑的定时任务，比如有几十万条数据要处理，那么这段时间 mysql 的查询和更新就比较频繁，直接是硬件有多快跑多快，在资源监控界面，就会看到持续一小段时间资源快跑满了。

请教下各位这种情况是怎么处理的？

1：不用管他，这是正常的。

2：每条记录处理完，加个 sleep 间隔暂停一下？

3：其他更好的方法？

[4771314]

最简单的就是限流，如果限流不能解决就需要看下具体的脚本有没有优化的空间，优化就两个思路：
1. 脚本逻辑的优化
2. sql 语句的优化
最后就是升级配置，任务就是很大、很慢，那就只能升级硬件的配置来处理，但是这种比较浪费资源，因为你只有在执行脚本的时候需要大量的资源，但是平时是不需要这么多的资源的。

[ql562482472]

1

[brader]

@libook 对的，跑脚本期间 mysql 实例的 cpu 和 io 飙升，大部分是一些慢 sql ，没加索引等等问题引起的，严重的一些定时任务我已经优化了 sql 索引问题了，但是这种屎山项目几百上千定时任务。。。又不给时间处理这些，经常有其他需求，无语