V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
工单节点使用指南
• 请用平和的语言准确描述你所遇到的问题
• 厂商的技术支持和你一样也是有喜怒哀乐的普通人类,尊重是相互的
• 如果是关于 V2EX 本身的问题反馈,请使用 反馈 节点
wxxshu
V2EX  ›  全球工单系统

关于 1 月 14 日晚 UCloud 北京二区可用区 B 故障处理公告

  •  
  •   wxxshu · 2017-01-15 18:07:10 +08:00 · 3471 次点击
    这是一个创建于 2871 天前的主题,其中的信息可能已经有所发展或是发生改变。

    1 月 14 日晚, UCloud 北京二区域可用区出现故障,北京二区域可用区 B 外网以及跨可用区内网同时中断。通过紧急抢修,当晚 22 点 50 分,可用区 B 的网络故障已经完成修复,现内网、外网均已恢复正常。后续故障赔偿事宜正在开展中,赔偿金额将陆续发放至受影响用户的 UCloud 账户。谨在此向所有受故障影响的用户和所有关心 UCloud 的朋友说声抱歉,对不起!

    关于此次故障的官方声明如下:

    ——————

    关于北京二区可用区 B 故障处理公告

    2017 年 01 月 14 日 18 时 54 分, UCloud 技术支持收到监控告警,北京二区域可用区 B 外网以及跨可用区内网同时中断。随即, UCloud 云计算团队立即开始排查处理,逐段定位到北京二区域可用区 B 到北京城市 POP 点的光缆因运货卡车撞倒光缆线杆导致全部中断。定位到故障点后,传输供应商紧急赶赴现场进行熔接修复,最终于 1 月 14 日 22 时 50 分北京二区域可用区 B 内外网通讯完全恢复。

    故障时间和影响范围

    18:54~20:38 ,北京二区域部分移动线路中断

    18:54~22:50 ,北京二区域可用区 B 外网中断, B 到其他可用区的跨可用区互访中断

    处理过程

    18:54,监控到北京二区域可用区 B 到北京 POP 点线路告警,可用区 B 的跨可用区互访中断、公网中断,北京二区域部分移动数据中断

    19:51,传输供应商到达现场展开故障点定位测试

    20:30,传输供应商确认中断点在中国移动数据中心外 3km 处,赶赴现场进行修复

    20:38,对于移动线路问题启动备用方案,北京区域(除可用区 B 以外)移动线路恢复

    21:09,到达现场,发现架空光缆立杆被货车撞倒,光缆中断,立即开始熔接维修

    22:47,可用区 B 到北京 POP 点线路熔接修复,直连通信正常

    22:50,确认可用区 B 到 POP 点的数据链路完全恢复,业务检查确认恢复

    故障原因

    北京二区域可用区 B 到 POP 点的光缆因架空光缆立杆被货车撞倒导致中断,导致该可用区的公网以及跨机房内网互访全断。 北京可用区 B 机房同时承载着北京移动数据出口,因此该机房光缆中断同时导致北京区域自建 BGP 线路的部分移动数据中断。

    (图 1 、 2 、 3 :数据中心外 3km 处,架空光缆线杆因卡车撞倒导致光缆断裂)

    后续改进措施

    1 、后续将对城域网传输系统进行进一步升级,在原双路光纤冗余的级别上,对每个可用区再增加冗余裸纤,达到 2+1 级别冗余,确保城域网可靠性。

    2 、加强应急预案体系建设,缩短应急处理时间,确保灾难发生后可快速修复。

    ——————

    对于此次事故受影响用户及其损失, UCloud 深表歉意。我们将秉持「用户为先」的企业价值观,根据 SLA 对受影响的用户进行相应赔偿,赔偿金额充值至受影响用户的 UCloud 账户。

    再次抱歉!

    以上。

    8 条回复    2017-01-16 08:20:22 +08:00
    zhengfa
        1
    zhengfa  
       2017-01-15 18:27:15 +08:00 via Android
    好所年前,我们公司用你们的产品经常挂,现在还是,也是难为了。
    est
        2
    est  
       2017-01-15 18:36:47 +08:00
    出售光纤挖断照片 10 元 /张

    ps 日期 5 元 /次
    添加 exif 坐标 6 元 /次

    量大从优
    eDeeraiD0thei6Oh
        3
    eDeeraiD0thei6Oh  
       2017-01-15 19:07:07 +08:00
    @zhengfa 杯具
    ivmm
        4
    ivmm  
       2017-01-15 19:40:01 +08:00
    科目一,看来是要加一题了。
    livc
        5
    livc  
       2017-01-15 20:06:39 +08:00
    据说 gg 的时候这家公司正在开年会。。
    junnplus
        6
    junnplus  
       2017-01-15 20:09:07 +08:00
    @livc 据说该公司的程序猿开年会的时候都带电脑了,于是现场办公 QWQ
    esile
        7
    esile  
       2017-01-16 07:20:04 +08:00 via iPhone
    @est 大神生意不错啊
    cyr1l
        8
    cyr1l  
       2017-01-16 08:20:22 +08:00 via iPhone
    好细啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3592 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 11:13 · PVG 19:13 · LAX 03:13 · JFK 06:13
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.