你司有没有过运维事故?

2018-08-08 13:45:44 +08:00
 AllOfMe
删库,update 没加 where,rm rf /,误删 glibc 等等运维事故,小至两三人的创业公司,大至如最近的腾讯云磁盘事故,都有可能发生。
你们公司有没有过类似的事故?这些犯错的员工下场一般是怎么样的?
18117 次点击
所在节点    程序员
154 条回复
beaconfire
2018-08-08 15:01:10 +08:00
@Phariel 你这个可以去买彩票了
neoska
2018-08-08 15:03:17 +08:00
@xiaoheshang 略 dio,看着黄灯闪然后把绿灯的盘拔下来了??
runnerlee
2018-08-08 15:05:54 +08:00
两年前小团队只有十几人, 下午上班中查生产数据库第一条执行完执行第二条返回了 'no database selected', 仔细一看 db 不见了.

然后靠 binlog 恢复了, 事故原因是: 不知道怎么了就不见了 (技术副总说的).

还有就是副总深夜没告知手下的人自己就通过 ftp 修改了生产环境的代码, 把数据库连到测试库了, 早上才发现
t6attack
2018-08-08 15:06:12 +08:00
自己的数据。移动硬盘上有个目录“网站数据”保存着我做过的所有网站源码及数据。一个网站一个目录。有些是自己开发的,有些是用 cms 做的。最早的网站是中学时做的校园论坛,程序是 dvbbs7.0sp2。另外还有两个校内(人人)api 做的 sns 插件。总共二十多个目录。
在对三个硬盘进行数据归类整理时,这个最重要的目录被我弄没了。我也不知道是怎么弄没的,反正是找不到了,用 finadata 对硬盘扫了一遍也没找到。应该是在频繁的大文件拷贝过程中,那片区域被复写过了。
然后赶紧对仍在线上的网站进行备份,重建了一个“网站数据”目录。只剩 5 个了。感觉自己的人生被扣掉了一块。
bluesyz
2018-08-08 15:07:09 +08:00
游戏数据库少执行了一句,然后延长了更新时间。
Phariel
2018-08-08 15:08:34 +08:00
@beaconfire 其实想了想也是必然 同一批次的主控寿命应该是一致的 只能说精准的制造工艺 到点就坏 非常精确。。。
lucifer9
2018-08-08 15:10:02 +08:00
误删文件肯定事少不了的
最多就是想办法恢复,然后赔偿呗
不过很久之前远程操作某省联通靠近核心的一台防火墙时候脑抽先写了个 deny all
当然后来打电话找机房同事给解决了,最后是半小时左右该省联通用户都没法上网
还被腾讯给投诉了...
AllOfMe
2018-08-08 15:16:05 +08:00
@SoulSleep 其他的都能理解,但是为啥会有个索赔几百万呢?让你一个人赔吗?
yjxjn
2018-08-08 15:19:48 +08:00
有,粘贴 update 语句的时候,由于 word 里面折行问题,where 条件没有,执行完发现卧槽,完了!!! 1000W 数据
但是所幸看到右下角网络感叹号!其实只有一部分被 update 了,其他都还好。。。
infun
2018-08-08 15:20:25 +08:00
携程 5.28 听过吗
xiaoxin8888
2018-08-08 15:20:37 +08:00
我把一个库线上的数据导到测试环境, 结果和其他库信息对不上了, 我这面没什么影响. 后台炸了.
那天感觉后背一直有凉风吹过....
jusalun
2018-08-08 15:21:53 +08:00
有个小弟迁数据,手动迁出问题丢了 20 分钟数据,让他做成作业自动跑不听,非自己手动做,手动做还不是新建表 rename 表名,居然是傻了吧唧的手动复制数据后再删除原表数据,导致迁移耗时间进来的日志数据不但没迁移走,还被他给删了,帮他擦屁股,擦的恶心死我了
tt67wq
2018-08-08 15:24:57 +08:00
公司一个老姐生产库写 update 没写 where。。。。。
裸奔的数据库
后来靠倒着跑一遍 binlog 回来的,老姐吓得第二天请了病假
e8c47a0d
2018-08-08 15:29:47 +08:00
有一次 ssh 进去后发现 db 整个没了,花了 n 个小时把备份灌回来,然后检查期间的日志自己一条一条手工补上数据,就这样一个下午过去了。晚上,发现,自己登的是另一台机子,真机好好的。
jtsai
2018-08-08 15:32:19 +08:00
导出数据库,执行成导入,执行完以为导出成功,删除旧备份。真正实现从删库到跑路。
ghiei9101
2018-08-08 15:33:57 +08:00
@jrient 日常删库?
zc0000
2018-08-08 15:45:20 +08:00
@infun 我现在在凌空 SOHO17 号楼看着这条。。
zc0000
2018-08-08 15:47:40 +08:00
@e8c47a0d 哈哈哈哈,牛逼
supersadmin
2018-08-08 15:48:18 +08:00
写过一个 bug,因为这个 bug 公司赚了 1 万+,我被罚款 100.
SoulSleep
2018-08-08 15:49:46 +08:00
@AllOfMe #28 哈哈,我是甲方,索赔乙方,因为是他们提供服务

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/477926

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX