服务器 Out of memory 实在太难解决了

[duguxiaohuai]

电商系统加了一个 crond 定时任务，其次就是定时任务里面涉及到 PHP 的循环，大概 2 分钟一次，每天凌晨三四点钟，web 服务器就挂了，找到 /var/log/message 里面查看日志，日志如下，请问各位大牛这个怎么解决？ 环境 centos lnmp 8G 内存 Jun 14 03:45:08 iZbp14dhkm7u57alou7jitZ kernel: Out of memory: Kill process 18931 (nginx) score 2 or sacrifice child
Jun 14 03:45:08 iZbp14dhkm7u57alou7jitZ kernel: Killed process 18931, UID 501, (nginx) total-vm:68052kB, anon-rss:23608kB, file-rss:28kB
Jun 14 03:45:09 iZbp14dhkm7u57alou7jitZ kernel: Out of memory: Kill process 18933 (nginx) score 2 or sacrifice child
Jun 14 03:45:09 iZbp14dhkm7u57alou7jitZ kernel: Killed process 18933, UID 501, (nginx) total-vm:68052kB, anon-rss:18376kB, file-rss:16kB
Jun 14 03:45:09 iZbp14dhkm7u57alou7jitZ kernel: Out of memory: Kill process 18932 (nginx) score 2 or sacrifice child
Jun 14 03:45:09 iZbp14dhkm7u57alou7jitZ kernel: Killed process 18932, UID 501, (nginx) total-vm:68052kB, anon-rss:23608kB, file-rss:8kB
Jun 14 07:17:55 iZbp14dhkm7u57alou7jitZ kernel: imklog 5.8.10, log source = /proc/kmsg started.

[duguxiaohuai]

@mringg
@letitbesqzr PHP 的话内存 8G 足够了啊

[duguxiaohuai]

@Universe */1 * * * * 这样的 一分钟执行一次

[JasperYanky]

是不是业务时间太长了 2 分钟没执行完，下面的业务又来了，然后堆积了；可以考虑一个进程 while True sleep(120) 这种方式，当然我不懂 PHP

[duguxiaohuai]

@JasperYanky 感觉有点像这个问题 但是为什么白天正常 都是凌晨出问题

[3dwelcome]

8G 内存够不够，又不是你觉得够不够，而是操作系统和程序觉得够不够。

看一下 top 里的 swap，如果一直用磁盘换内存，在 99%内存的边缘徘徊，那出事是必然的。

服务器要稳定，就必然要留余地，你内存碎片都没算进去呢，普通情况下，最稳定就是长占用总内存的 70%~80%，不能用太多了。

[JasperYanky]

@duguxiaohuai 是不是晚上有其他程序跑？我晚上服务器负载比白天还高~

[privil]

……首先，你服务器的监控呢，内存监控图一眼就看出来了，oom 机制有很多文章详细讲了，不过为什么 nginx 的分数最高，居然是先挂 nginx 而不是先杀 php

[duguxiaohuai]

@3dwelcome
Tasks: 1268 total, 2 running, 1266 sleeping, 0 stopped, 0 zombie
Cpu(s): 54.8%us, 16.7%sy, 0.0%ni, 23.7%id, 0.0%wa, 0.0%hi, 4.8%si, 0.0%st
Mem: 8193324k total, 5348568k used, 2844756k free, 35780k buffers
Swap: 0k total, 0k used, 0k free, 1161076k cached

[duguxiaohuai]

@privil 老兄 给介绍一个监控软件吧 我也十分奇怪 循环的话应该是 php-fpm 挂掉，redis 也没挂掉，居然是 nginx 挂了，而且更奇怪的是半夜没有流量的，除了 2 点的数据备份，夜间没有其他操作

[duguxiaohuai]

@JasperYanky 除了 2 点的备份 但是挂在三四点钟

[JasperYanky]

@duguxiaohuai 我还是倾向于定时任务堆积的问题，你改了试试看，我印象深刻的原因，是我以前也这么干过，一模一样的感觉

[3dwelcome]

swap 还是要的，不能设到 0k，关键时候，可以救命。要不然内存不够的话，进程就只有被杀的命。

[3dwelcome]

"redis 也没挂掉"

redis 对于 oom 有特殊的处理，代码写的和普通程序不一样。哪怕内存再少，也不会挂。

[deadEgg]

压力测试看内存增长 是否能复现该情况。

我估计是有内存泄露。

[coolloves]

如果不想被杀,调高评分即可

[pandaMao]

#20 #23 +1
每次任务执行一次的时间是多长？

[defunct9]

开 ssh，让我上去看看

[pcdRob]

哈哈 楼上老哥又来了

[fangxing204]

试试用 monit 监控下

[chengxiao]

我觉得老哥 可以看看 redis 的占用