360 spider 及 360WS yunjiance Weak Password Scan 把客户的站搞死了

[chinvo]

客户反应称 CDN 流量异常，检查 CDN 提供的统计信息和服务器访问日志之后发现，360 相关的 spider 平均每天要访问该客户网站各文件合计 2,000,000+ 次，最近一次峰值在 8 号，访问了 4,000,000+ 次

log



CDN 访问统计





简直丧心病狂

更丧心病狂的是，明明是“安全检测爬虫”，结果一直在访问 js、css 文件



???.jpg

再见👋👋👋

[d5]

这操作，有创意，给你们扣了乱计费的帽子

[Wincer]

报告，我们被搜索引擎 DDoS 了😂

[chinvo]

@Wincer #2 多年前就有人在反映这个问题，没想到今天真的遇上了

[dorothyREN]

话说 你这 root 用户执行命令为啥还加个 sudo。。。

[chinvo]

@dorothyREN #4 习惯了

[dorothyREN]

@chinvo 这不是个好习惯

[chinvo]

@dorothyREN #6 用 sudo 是好习惯，root 登陆是客户的要求，但是习惯在某些情景下打 sudo 了（比如 /var/log 里面的文件都是 600 的权限

[Keyes]

30G 才占 0.71%，还是个 WP 站？ LZ 客户是谁啊这有点太牛逼了，你们运维也很猛，我维护过几个 WP 站，基本上单机五六千 IP 就完蛋了

[chinvo]

@Keyes #8 我感觉这个占显示有问题，八号当天总共 40G+，应该是把小数直接当百分比了

[dorothyREN]

@chinvo 我是说 不该执行啥都带 sudo 的，因为很多操作都不需要 sudo。

[chinvo]

@dorothyREN #10 我说的习惯也不是什么都带 sudo

/var/log/<软件名> 都是 600 的权限，所有者通常是软件默认启动用户，所以其他用户是无权访问的，这个情景下习惯打 sudo 没毛病啊？

[liwl]

@Keyes CDN .......

[chinvo]

@liwl #12 是的，静态没回源，动态内容回源不多，没 30G 这么夸张

[nu11001]

发邮件给 kefu#360.cn ，会转发给相应部门处理的

[mytsing520]

我们这里已经屏蔽相关地址

[gnuth]

云监测除了扫描安全漏洞，还需要频繁监测网站内容，包括敏感词、黑链、挂马等等，所以需要频繁请求，包括静态文件。目前控制的是每个站点每秒最高 10 个请求，因为爬虫部分使用了 Chrome，所以会有额外的请求，一般在可接受范围。如果贵站觉得请求量大，可以到云监测平台调低并发上限。

[gnuth]

@mytsing520 如果你们网站没有授权云监测扫描，云监测是不会去请求的。扫描这个事情比较敏感，我们都是需要有客户授权书才启动。不过有时候有新同事不清楚情况，测试的时候会加熟悉的站点，比如 v 站就被添加扫描过。。。

[chinvo]

@gnuth #16 客户没有用过相关产品，另外 Mozilla balabala 360Spider 这个 ua 出现的频率比 360WS 高多了

[gnuth]

@chinvo 部分可能是搜索那边的。不过主要应该是云监测的，UA 没有统一是历史遗留问题，后面尽量修改掉。

如果客户不使用，那么一般是监管部门添加的。

[sinver]

@chinvo 你用的是什么截图工具，放大之后还是蛮清晰的

[chinvo]

@sinver #20 Command+Shift+4

[chinvo]

@gnuth #19 emm，监管部门是指 zf 部门？

不过即使是监管部门添加，360 能这么高频率爬取客户网站？三天干下去 200G，峰值带宽十几 M，谁扛得住啊？

[alexmy]

360 云监控也是猛，一直刷刷刷，浪费我流量，他们后台还不让删我的站点，一删就说 token 已失效，明明我才刚登录。
后来，我随便加了一个站点，才把我的网站从 360 云监控移除。一生黑。

[gnuth]

@chinvo 第一个问题，是的。

默认情况是每秒最多 10 个请求，如果 Chrome 请求，会多一些，方便的话能否导出一份云监测的请求日志？多谢！
目前有在做请求上的优化，但是比较难，因为客户要的是 全面、及时。

[chinvo]

@gnuth #24 算了，已经加了自动 ban IP range 的脚本

[gnuth]

@alexmy 云监控不是很了解，不过按原理是多个节点每分钟请求下首页，或者 ping 之类的，这个耗不了多少流量吧？

[gnuth]

@chinvo 抱歉造成麻烦。

[mytsing520]

@gnuth
你们做监测业务的，要注意用户网站是否按流量计费。如果是按流量计费或者虚拟主机，分分钟网站流量就被刷完了，还让用户的网站怎么对外服务呢？

[gnuth]

@mytsing520 多谢提醒，这个之前确实没意识到，会跟产品沟通这个事情，尽快改善。

[chinvo]

@gnuth 我刚刚发现，你们的这个产品（ jk.cloud ）添加网站竟然没有所有权验证，这随便一个人都能用你们这个服务当免费的 DDoS 工具，是不是不太好

[gnuth]

@chinvo 云监控是其他组做的，我找人反馈下。

[alexmy]

@gnuth 最最最头疼的是不让删，只剩下最后一个站点的时候，点击删除，提示：token 错误或过期，请再试！

我刚登录就去删也无济于事，然后我就把百度给加上去了，把自己站点给删了。

我那站点都被我关了，不想监控了，结果删也删不掉，nginx 日志一大堆都是 360JK。

[myvin]

一眼瞅到了 awk