一个让人尴尬癌犯了的问题，数不清的僵尸 sshd 进程

[zwpaper]

今天真是长见识了，一台服务器上面突然发现上万个僵尸进程，大部分是 sshd ，现在还能登陆上去，但是运行的程序有的又会变僵尸……

/var/log/ 下面也没什么 log 输出

Google 出来的结果都让重启机器……

我有点不知所措了

[w2exzz]

chkconfig --level35 sshd off
reboot

/usr/sbin/sshd -d

[MartinWu]

@zwpaper 对，就是这样的状况。

[zwpaper]

@w2exzz 现在重启很大可能可以解决问题，但是一个是不希望重启，一个是希望保存现场，研究一下问题到底在哪里。
所以暂时还不 reboot

[MartinWu]

@zwpaper 能否看下 kernel 的日志有没有什么信息？ 或者 /proc/里

[MartinWu]

@zwpaper 在不影响业务的基础上，继续摸索下吧，在线等更新。我现在就后悔去重启了。。

[jyf007]

dropbear

[zwpaper]

@MartinWu 现在发现了一个问题就是 systemd hung 住了，感觉有可能问题出在这个地方。

今天还找到一个说是 210 以前的 systemd 有 bug ，有可能会让 systemd hung 住，但是我的机器上的好像是 213 的，按说不应该。具体版本号我忘了，后来忙别的去了，可以肯定的是比 210 新。
在这看到的： https://bbs.archlinux.org/viewtopic.php?id=178168

现在 /var/log 基本上没有新写入东西了， rsyslog 也在一次失败的实验中变僵尸了。。。

现在新发现是 journalctl 里有不少 log ，这个没来得及看，明天看看有没有空看一下。

别在线等啊，我还有个活背着呢，你要有什么想法也可以告诉我，我来试试，再给你反馈结果😳

[zwpaper]

@MartinWu kernel 的日志你说的是哪个位置？/proc/ 没找到比较特别的地方呢，就是僵尸的 proc stat 都是 Z ， ppid 都是 1

[zwpaper]

@jyf007 这是一个 ssh 工具？恕在下愚钝，没想到用法啊。。。
不过 Matt Johnston ，这个名字有点印象，好像这两天有搜到他报类似的 bug

[jyf007]

@zwpaper 不，我是说换成这种路由器用到的，再装个 openssh-sftp-server 就行了

[zwpaper]

@MartinWu 突然想起来，这个貌似有人去 centOS 报 bug 了，看看官方怎么回复吧

[MartinWu]

@zwpaper 啊咧？我去看看。

[zwpaper]

@MartinWu https://bugs.centos.org/view.php?id=12291

[MartinWu]

@zwpaper 我的是 centos6 诶，貌似不是 systemd 导致的，而且 centos6 还是用 initd 的。。

[zwpaper]

@MartinWu #34 这就奇怪了，我倒确实是 7 的，所以这个 systemd 的问题感觉还挺像的

[okudayukiko0]

不用 SSH ，改用串口 /VirtIO Console 或远程卡试试，不排除病毒

[zwpaper]

@okudayukiko0 机器在机房，而且也已经重启了，病毒的话，也没有查到一些相关的说法……

[MartinWu]

我发现了一个点，可使用内存太少，导致 init 无法 fork 出线程来回收僵尸进程。

[zwpaper]

@MartinWu #38 可惜没有环境了啊。。。。

[MartinWu]

@zwpaper 哈哈哈，等下次吧。 😂