Amazon S3 的事故报告出来了… Typo…

[willakira]

https://aws.amazon.com/message/41926/

At 9:37AM PST, an authorized S3 team member using an established playbook executed a command which was intended to remove a small number of servers for one of the S3 subsystems that is used by the S3 billing process. Unfortunately, one of the inputs to the command was entered incorrectly and a larger set of servers was removed than intended.

[holyghost]

不知道这哥们要看多少个小时的无聊小视频

[XiaoFaye]

很难想象这种批处理命令不需要 Review 。。。

[acoder2013]

Amazon 的工程师也是 just so so 啦， 23333333

[just4test]

所以删除服务器这种事没有机器人管么？
'''
操作被拒绝。该操作将影响以下子系统：
索引子系统： 30%容量被移除，余下容量不足以支撑线上压力
放置子系统： 20%容量被移除，余下容量不足以支撑 N+1
要强制执行此命令，使用 --fuckyou 参数重试。
'''

[vus520]

@just4test 想不到 aws 跟我渣司的程序员一样，看着不爽就是一顿潇洒任意的 rm

[stevele]

那也得用啊

[nealfeng]

@just4test

第一次会仔细看，以后就不会那么仔细了。比如用 sudo 命令的时候。

[21grams]

命令输错了？ 难道不应该做成脚本吗？

[vingz]

并不能所有的维护过程都变成自动化啊

[billlee]

r#8 @21grams 用了脚本， using an established playbook, 还是错了

[eyp82]

应该是用了 ansible 之类的东西

[bingwenshi]

@21grams 用了脚本，但是参数写错了

[okampfer]

尤记得上次 gitlab 的 rm -rf /

[matrix67]

playbook 的话肯定是 ansible 吧。 salt 不叫这个名字。

[vindurriel]

>> Removing a significant portion of the capacity caused each of these systems to require a full restart
应该有办法改进吧

[121121121]

@holyghost 为什么要看视频？

[holyghost]

@121121121 gitlab 那哥们就看了

[taowen]

说明运维自动化的抽象层次还是太低了，这么大的厂，居然还能用 ansible 搞这么底层的事情。还以为 AWS 的运维已经脱离了 bash 的低级趣味呢

[donghui]

一不小心就删错

[xiaq]

这里的 Playbook 指的应该是事故处理的手册