V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
gamexg
V2EX  ›  站长

收到的邮件:[QingCloud] 关于 2015 年 6 月 6 日青云 QingCloud 广东 1 区( GD1)机房电力故障的进一步说明

  •  
  •   gamexg · 2015-06-07 19:44:52 +08:00 · 2371 次点击
    这是一个创建于 3462 天前的主题,其中的信息可能已经有所发展或是发生改变。

    尊敬的用户:

    因广东1区(GD1)所在IDC遭遇雷暴天气引发电力故障,昨天下午QingCloud广东1区全部硬件设备意外关机重启,造成QingCloud官网及控制台短时无法访问、部署于GD1的用户业务暂时不可用,对此我们深表歉意。现将事故完整过程报告给您:

    13:48,我们收到GD1硬件及网络告警,并发现官网及控制台无法访问;工程师马上进行系统状态检查,发现GD1所有硬件设备出现重启;随即我们与GD1所在的IDC运营商沟通询问机房情况,同时排查其他可能导致设备重启的原因,并着手恢复管理服务(KS);其间,我们收到大量用户反映GD1业务中断;

    14:08,操作切换DNS以恢复官网及控制台;

    14:23,我们从IDC运营商处获知由于机房所在地区出现雷暴天气,机房因雷击引起UPS异常,机柜瞬时断电再加电,从而导致了青云的全部物理设备异常关机与重启;

    14:38,GD1的管理服务恢复,Bots系统恢复,开始恢复用户主机;用户可以访问GD1资源;DNS完全生效,官网及控制台访问恢复;

    15:15,内网DNS Server恢复;系统持续检查环境和帮助用户恢复业务;

    16:19,GD1业务完全恢复,进一步检查后,于16:30分发布恢复公告。

    本次严重故障从设备重启到用户业务恢复共耗时2小时31分钟,系统数据和用户的业务数据未出现任何丢失。

    针对本次故障对您的业务造成的影响,我们对受影响的资源按照故障时间的10倍进行赔付,总共是2.5小时 × 10 = 25小时,赔付将以系统赠送的形式给大家进行发放。您可以在 充值记录页 进行查看。

    再次,向您表示深深的歉意,也希望在您的支持和帮助下,不断提升我们的服务水平。 您也可以通过下述链接了解关于故障的更多细节。

    关于2015年6月6日青云QingCloud广东1区(GD1)机房电力故障的详细说明
    https://log.qingcloud.com/?p=924

    青云QingCloud

    6 条回复    2015-06-07 21:59:55 +08:00
    shiny
        1
    shiny  
       2015-06-07 20:23:30 +08:00   ❤️ 1
    我倒觉得值得同一天宕机的 LeanCloud 借鉴
    robinray
        2
    robinray  
       2015-06-07 20:25:11 +08:00 via iPhone   ❤️ 1
    妈蛋,你们服务起来了,老子的服务冷启动用了一天
    halczy
        3
    halczy  
       2015-06-07 20:55:02 +08:00
    @robinray 什么服务要启动这么久?
    wy315700
        4
    wy315700  
       2015-06-07 21:01:41 +08:00   ❤️ 1
    这才是大厂啊
    kslr
        5
    kslr  
       2015-06-07 21:08:05 +08:00 via Android
    做得不错
    9hills
        6
    9hills  
       2015-06-07 21:59:55 +08:00 via iPad
    从详细信息看是机房防雷不过关
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1174 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 18:42 · PVG 02:42 · LAX 10:42 · JFK 13:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.