关于 1 月 14 日晚 UCloud 北京二区可用区 B 故障处理公告

2017-01-15 18:07:10 +08:00
 wxxshu

1 月 14 日晚, UCloud 北京二区域可用区出现故障,北京二区域可用区 B 外网以及跨可用区内网同时中断。通过紧急抢修,当晚 22 点 50 分,可用区 B 的网络故障已经完成修复,现内网、外网均已恢复正常。后续故障赔偿事宜正在开展中,赔偿金额将陆续发放至受影响用户的 UCloud 账户。谨在此向所有受故障影响的用户和所有关心 UCloud 的朋友说声抱歉,对不起!

关于此次故障的官方声明如下:

——————

关于北京二区可用区 B 故障处理公告

2017 年 01 月 14 日 18 时 54 分, UCloud 技术支持收到监控告警,北京二区域可用区 B 外网以及跨可用区内网同时中断。随即, UCloud 云计算团队立即开始排查处理,逐段定位到北京二区域可用区 B 到北京城市 POP 点的光缆因运货卡车撞倒光缆线杆导致全部中断。定位到故障点后,传输供应商紧急赶赴现场进行熔接修复,最终于 1 月 14 日 22 时 50 分北京二区域可用区 B 内外网通讯完全恢复。

故障时间和影响范围

18:54~20:38 ,北京二区域部分移动线路中断

18:54~22:50 ,北京二区域可用区 B 外网中断, B 到其他可用区的跨可用区互访中断

处理过程

18:54,监控到北京二区域可用区 B 到北京 POP 点线路告警,可用区 B 的跨可用区互访中断、公网中断,北京二区域部分移动数据中断

19:51,传输供应商到达现场展开故障点定位测试

20:30,传输供应商确认中断点在中国移动数据中心外 3km 处,赶赴现场进行修复

20:38,对于移动线路问题启动备用方案,北京区域(除可用区 B 以外)移动线路恢复

21:09,到达现场,发现架空光缆立杆被货车撞倒,光缆中断,立即开始熔接维修

22:47,可用区 B 到北京 POP 点线路熔接修复,直连通信正常

22:50,确认可用区 B 到 POP 点的数据链路完全恢复,业务检查确认恢复

故障原因

北京二区域可用区 B 到 POP 点的光缆因架空光缆立杆被货车撞倒导致中断,导致该可用区的公网以及跨机房内网互访全断。 北京可用区 B 机房同时承载着北京移动数据出口,因此该机房光缆中断同时导致北京区域自建 BGP 线路的部分移动数据中断。

(图 1 、 2 、 3 :数据中心外 3km 处,架空光缆线杆因卡车撞倒导致光缆断裂)

后续改进措施

1 、后续将对城域网传输系统进行进一步升级,在原双路光纤冗余的级别上,对每个可用区再增加冗余裸纤,达到 2+1 级别冗余,确保城域网可靠性。

2 、加强应急预案体系建设,缩短应急处理时间,确保灾难发生后可快速修复。

——————

对于此次事故受影响用户及其损失, UCloud 深表歉意。我们将秉持「用户为先」的企业价值观,根据 SLA 对受影响的用户进行相应赔偿,赔偿金额充值至受影响用户的 UCloud 账户。

再次抱歉!

以上。

3487 次点击
所在节点    全球工单系统
8 条回复
zhengfa
2017-01-15 18:27:15 +08:00
好所年前,我们公司用你们的产品经常挂,现在还是,也是难为了。
est
2017-01-15 18:36:47 +08:00
出售光纤挖断照片 10 元 /张

ps 日期 5 元 /次
添加 exif 坐标 6 元 /次

量大从优
eDeeraiD0thei6Oh
2017-01-15 19:07:07 +08:00
@zhengfa 杯具
ivmm
2017-01-15 19:40:01 +08:00
科目一,看来是要加一题了。
livc
2017-01-15 20:06:39 +08:00
据说 gg 的时候这家公司正在开年会。。
junnplus
2017-01-15 20:09:07 +08:00
@livc 据说该公司的程序猿开年会的时候都带电脑了,于是现场办公 QWQ
esile
2017-01-16 07:20:04 +08:00
@est 大神生意不错啊
cyr1l
2017-01-16 08:20:22 +08:00
好细啊

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/334739

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX