如何看待 2021.07.13 B 站崩溃事件

[Stendan]

分析报告： https://www.bilibili.com/read/cv17521097

[ccagml]

原来大家都是，重启->回滚代码->重装

[QuinceyWu]

Block List + 1

[xingyuc]

如何看待 QQ 大规模盗号

[shyrock]

挺佩服的，大厂有资源和决心花这么长时间做根因分析。

换成我，感觉挖不到这么深的原因。只能作为悬案归档。

[zhoudaiyu]

原来 SLB 也可以写扩展逻辑

[Leviathann]

我的评价是：动态弱类型语言就是个 jb

[kkocdko]

有很多人给出了各种答案，比如类型检查，写测试等等。

但我想说的是，一切缓解和检查措施总有失效的时候。我更看重备份与回滚，以及快速的介入，保证事故发生时的控制权。

[liuliangyz]

@leido 人家没有衣服公开报告，而且这么大的事，牵扯多少部门，多少同学。最终报告要层层递交。

[didilili]

写的如此详细，着实是受教了~

[ElliotQi]

@qping Flame Graph 看出来的?

[bxb100]

B 站解决问题的方案：猜，线下重试，现场火焰图

[DingJZ]

01:50 此时在线业务基本全部恢复。

当晚已定位到诱因是某个容器 IP 的 weight="0"。此应用在 1:45 时发布完成，weight="0"的诱因已消除。所以后续关闭 jit 虽然无效，但因为诱因消失，所以重启 SLB 后恢复正常。

一顿操作之后，还是外部变化消失+重启恢复的，中间重建之类的操作其实都没用

面对故障，一找出变化，二回滚。

[newmlp]

关键服务还搞 lua 脚本这种花里胡哨的东西，该

[zapper]

v2 知乎化
知乎贴吧化
贴吧粪坑化

[nomagick]

根本原因还没意识到呢

硬件防火墙一般都有一个非常方便切换的旁路模式，可以迅速消除防火墙对网络的影响。

像 WAF 这种东西充满不确定性，其行为飘忽不定，代码质量堪忧，流量处理能力和流量内容相关，更有复杂的过滤逻辑，搞不好啥时候就出问题。

在自己流量路径上串行设置 WAF 类似物而没有旁路机制，这才是症结。

我看这报告问题还是归咎在开发上，开发是有问题，但不至于影响全业务，真正的问题在架构上，首席架构师引咎吧

[yujinchn]

@shyrock 原因没找到，这次可以了不代表下次就不会又出现，找到原因直接解决更好

[shyrock]

@yujinchn 我看原文不是定位到了具体的 lua 代码了？怎么你说没找到

[joyyu]

"0" != 0

[Mac]

昨天我家洗衣机崩了，不脱水，原因就是一个字，便宜。

[EminemW]

所以算是自测的时候没考虑到边界条件？”0” != 0