有关服务器突然变卡然后被通知对外攻击行的问题

109 天前
 kkkaaa
小公司没有运维,我是后端所以兼顾的服务器的事,现在问题有点超纲了,想咨询一下大佬们。

早上服务器响应突然变的特表卡,通过监控面板发现流出流量,cup 等开始突然急增。紧接着收到一条腾讯的站内信,内容是:“云服务存在对外攻击行为的违规通知,存在对其他服务器端口( TCP:37215 )的攻击行为”。

1 通过 top 命令发现有非常多重复的进程:
20 0 228 64 0 S 1.0 0.0 1:43.45 /var/Sofia 20 0 228 64 0 S 1.0 0.0 1:08.61 /var/Sofia
。。。

2 通过 ps 命令后发现有几百个/var/Sofia
4498 0.6 0.0 228 64 ? S 10:33 0:47 /var/Sofia
。。。

3 检查一些启动脚本,文件目录没有发现可疑问题。/var/Sofia 不是一个目录。
想用查看父进程的方式,但是发现一个套一个查不完。

4 使用 strace 跟踪进程发现,确实是在不停的调用方法对外请求。但没有其他发现。
最终没能发现是哪里启动的的/var/Sofia 。

先使用 pkill -f /var/Sofia ,杀掉了全部的/var/Sofia 。发现他们的父进程一致了
6354 1016 0 06:19 ? 00:02:46 [/var/Sofia] <defunct>

再对 1016 进行查询,发现是 nacos 服务
ps -f -p 1016
/usr/lib/jvm/java-1.8.0-openjdk/bin/java -Xms1g -Xmx1g -Xmn512m -Dnacos.standalone=true -Dnacos.server.
=======================================================
以上结论不知道对不对,现在只能猜测到这一步。
解决方法也只是杀掉了进程后,释放资源,目前服务器正常。但没有找到根本原因和根本的解决方案。

希望站里的老哥指点一下。
956 次点击
所在节点    问与答
2 条回复
njmaojing
109 天前
难为楼主了,不过上面光 kill 还不行,需要进一步排查病毒文件源,他有可能还会通过 cron 再启动,以下是我个人排查笔记可参考。


# 检查登录信息
last -n 30

# 检查 ssh 失败记录
grep -ri "ail" /var/log/secure* | grep -o '[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}'| sort -n | uniq | awk '{printf"%s ",$1}'

# 检查 ldconfig
cat /etc/ld.so.conf
ls /etc/ld.so.preload

# 检查命令有没有被劫持,隐藏进程
which ps bash top netstat sshd lsof find|xargs ldd
## 样例输出
ldd /usr/bin/bash
linux-vdso.so.1 (0x00007ffcd03e8000)
/home/lang/Desktop/pidhidden.o (0x00007f87ab4d5000) //恶意插入的动态链接库
libprocps.so.7 => /usr/lib/libprocps.so.7 (0x00007f87ab27b000)
libc.so.6 => /usr/lib/libc.so.6 (0x00007f87ab0b7000)
libdl.so.2 => /usr/lib/libdl.so.2 (0x00007f87ab0b2000)
libsystemd.so.0 => /usr/lib/libsystemd.so.0 (0x00007f87ab026000)
/lib64/ld-linux-x86-64.so.2 => /usr/lib64/ld-linux-x86-64.so.2 (0x00007f87ab71d000)
libpthread.so.0 => /usr/lib/libpthread.so.0 (0x00007f87ab005000)
librt.so.1 => /usr/lib/librt.so.1 (0x00007f87aaff9000)
liblzma.so.5 => /usr/lib/liblzma.so.5 (0x00007f87aadd3000)
liblz4.so.1 => /usr/lib/liblz4.so.1 (0x00007f87aadb4000)
libgcrypt.so.20 => /usr/lib/libgcrypt.so.20 (0x00007f87aac95000)
libgpg-error.so.0 => /usr/lib/libgpg-error.so.0 (0x00007f87aaa75000)

## 如果有异常可以执行 strace -f ps 查看一下执行过程

# 检查进程,流量等
sar -n DEV 3 1 | grep -vE '^$'

# 检查定时任务
crontab -l
cat /etc/crontab
ls /etc/cron*

# 检查 xinetd
ls /etc/xinetd.d/

# 进程隐藏排查
google 搜 hook 关键词

# 检查开机自启动服务

# 使用 claimav 等工具查杀



建议 OP 部署终端防护软件,WAF ,做好备份,此外看描述是不是 nacos 的安全漏洞? nacos 漏洞挺多的,记得及时修复。
8848 端口非必要不要直接挂公网。
kkkaaa
109 天前
@njmaojing 感谢我继续试试

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1058600

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX