晚上业务报警，老哥们咋处理

[fishofcat]

老哥们，作为程序员，业务晚上会报警，自己一个人还好，影响家里人休息，大家咋处理的。

[johnchshen]

电脑、资料不在身边，麻烦分析日志、服务器状态。编写 bug 报告。方便次日分析处理。
要求在测试环境重现。要重新步骤手册，图文兼顾那种。
bug 报告模板可以在网上找，要求越高越好，越适合重现问题那种越好。

多来几次，业务就会自己分析问题和初步处理了。

[jinhan13789991]

手机开飞行模式

[keepeye]

1.真有紧急情况还是要处理的，如果是你负责的。
2.不应当经常出现此类情况，应当努力避免发生。

[sonice]

告警也是有级别划分的啊，有人给打电话过来了就可以起床弄了，否则当没看见。

[cubecube]

曾经，在某银行负责重要系统，几乎每天晚上告警，会被打电话叫起来，开机远程过去解决问题，半小时到一小时不等。
晚上八点多还打卡，干了半年，精神状态都不好了，离职了。

[wujieyuan]

自己的负责的任务当然得尽快处理,特别是紧急的事情

[cubecube]

@cubecube 写错了，是早上八点多还要刷脸。

[tfdetang]

@cubecube 握手，也弄过这样的项目，晚上要和清算所对账，一开始总有各种各样问题，对不上。 头一个月每天晚上 4-5 点都要被拉起来解决问题，然后早上还要去上班。 虽然一个月后基本就稳定了，不过很长一段时间都养成了一到对账的点就醒的习惯

[cubecube]

@tfdetang 情况还不完全一样，系统管理和开发管理分离。开发经理带着一群外包不断挖坑，问题没办法收敛，心累

[luckyrayyy]

你要是问我，我肯定回答爬起来修复啊！！！

当然实际上我静音了，听不见。

[chenmobuys]

手机静音

[wzq001]

@cubecube 关键在于还会有新坑出现，不可一直晚上救火啊！天大的事儿，第二天再说，让他长长记性，如果你这样一直加班搞，他会觉得理所应当，反正有人填坑~~~

PS：开发经理肯定有外包回扣的，所以，如果他分比例给你的话，也可以考虑，没利益，干毛线

[NauxLiu]

1. 给 alert 分优先级，比如 P1 是即使晚上也需要起床紧急修复的。P2/P3 等是只有邮件或 IM 通知，可以第二天再修复。
2. 轮班制，如果不是小公司，比如你们部门只有你一个人。那应该上轮班制度，大概每个人负责一周这样。

我们公司用的 Opsgenie，可以和各个平台集成，设置消息优先级和通知渠道，以及设定规则自动轮班。

[fishofcat]

大佬们，说的对。第一没啥测试，第二没啥 backup 。静音的话没人处理了就。。。。。

[cw2k13as]

当没看见，一律上班处理 2333

[imbushuo]

贵司 Ops 没自动化的么（

- 能采取自动措施的就自动解决，如果自动解决失败就 escalate 到 oncall DRI
- 多地运行，每个 region 内再分 shard，如果只是区域性问题的话就把所有 traffic 迁移到下一个可用区域，然后等到上班了再来处理
- Oncall 有 Primary 和 Secondary，多人一起备份
- 印度 /Sunnyvale/NYC 多个组一起 oncall shift，这样大家都能睡觉

[fishofcat]

@imbushuo 你懂得。。。自动化做的那叫一个烂

[threeEggs123]

同事，oncall，关机没接，传到了上级领导，领导没接，最后打到了 VP 头上。同事直接被干掉。

[AngryPanda]

手环可以不呢

[gitjavascript]

暂停告警