一个让人尴尬癌犯了的问题，数不清的僵尸 sshd 进程

[zwpaper]

今天真是长见识了，一台服务器上面突然发现上万个僵尸进程，大部分是 sshd ，现在还能登陆上去，但是运行的程序有的又会变僵尸……

/var/log/ 下面也没什么 log 输出

Google 出来的结果都让重启机器……

我有点不知所措了

[pagxir]

父进程状态异常了吧，估计被暂停了。

[zwpaper]

@pagxir 找不到父进程了，现在好像都被挂到 init 下面了，现在 kill 也 kill 不掉，然后僵尸进程数还在增加

[k9982874]

猜是谁写了个 sshd 自动执行脚步互锁了？

[zwpaper]

@k9982874 主要是没有 log ，无从下手有点尴尬，明天去公司还得再战这个问题

[solrted]

@zwpaper lsof -p pid

[qceytzn]

@solrted lsof: illegal process ID: pid

[lslqtz]

kill 后又复活？
试试看多执行几次 killall

[lslqtz]

对于 CentOS 来说：
service sshd stop
killall sshd
然后进一步排查问题(?) 或许很怪查不出

[ryd994]

是用了 docker 里的 sshd 么？
如果是的话，不要直接启动 sshd ，用 sh 之类的间接启动

[zwpaper]

@qceytzn 基本上 lsof -p 输出都是空的

[zwpaper]

@lslqtz killall 不起作用，返回是 0 ，但是进程数一点没少， killall sshd 把我自己踢出去了，再进来还是一样的

[zwpaper]

@ryd994 貌似没有用 docker

[MartinWu]

同病相怜。。。

[anjingme]

重启下 sshd 看看，当然重启失败了，自己也会被踢出来，搞个 nc 开个口子先再重启。

[MartinWu]

千万别去重启 sshd 啊。。。。

[MartinWu]

我的情况是，表面跟楼主描述的大致相同。最后放弃治疗，打算把上面的业务迁移到其他机器，就重启了。但是把业务都迁移走了后，突然发现，所有的僵尸都没了。然而我并没有追踪到是哪个进程关闭后，就把僵尸都埋了。

而我现在只追查到，发现 ssh 僵尸都是 sshd 这个用户的，而这个僵尸应该就是 sshd fork 出来负责验证权限的子进程。

[lslqtz]

@MartinWu 我以为楼主是在机房...

[zwpaper]

@MartinWu 我现在是我 sshd 退出来了，还能再登进去，只是不知道哪天 pid 要被用完了就上不去了

现在好像我运行一个后台程序，再退出 bash ，后台程序就变僵尸了

[zwpaper]

@lslqtz 😳 我现在 service xxx 直接都是 timeout 了。。。
想把我堵 ssh 外面都不行。。。

[zwpaper]

@MartinWu 我基本放弃治疗了。。。但是这个问题感觉有点意思呢