GitLab.com 误删了数据,现在彻底挂了

2017-02-01 09:53:39 +08:00
ZE3kr  ZE3kr
已经宕机两个多小时,预计还会继续。



他们发了个Google Docs,里面一些内容也是值得学习的

https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub
10365 次点击
所在节点   GitLab  GitLab
30 条回复
matrix67
matrix67
2017-02-01 12:12:22 +08:00
主要原因是手快

YP thinks that perhaps pg_basebackup is being super pedantic about there being an empty data directory, decides to remove the directory. After a second or two he notices he ran it on db1.cluster.gitlab.com, instead of db2.cluster.gitlab.com


2017/01/31 23:27 YP - terminates the removal, but it ’ s too late. Of around 310 GB only about 4.5 GB is left - Slack

然后他们还想用这个方法 恢复。难道他们是现场 google 的?应该不会吧。

JEJ: Probably too late, but isn't it sometimes possible if you make the disk read-only quickly enough? Also might still have file descriptor if the file was in use by a running process according to http://unix.stackexchange.com/a/101247/213510


Azure 这个删的快。想到 adobe 那个梗。 mac 要放个 adobe 压压惊。

Also, Azure is apparently also really good in removing data quickly, but not at sending it over to replicas.
wanghanlin
wanghanlin
2017-02-01 13:07:11 +08:00
没人关注这个点吗
Removed a user for using a repository as some form of CDN, resulting in 47 000 IPs signing in using the same account
nomaka
nomaka
2017-02-01 14:49:06 +08:00
The incident affected the database (including issues and merge requests) but not the git repo's (repositories and wikis). 文件存储的东西还在
ZE3kr
ZE3kr
2017-02-01 14:54:06 +08:00
@nomaka 感觉没什么用, git 一般本地都有,而就本地没有的那些它反而丢了,所以💊的节奏,数据库里还有用户账号和各种认证信息等等。
Drops
Drops
2017-02-01 18:42:07 +08:00
@yangqi 这个好像只有自建,自己搞定备份
syhsyh9696
syhsyh9696
2017-02-01 20:43:21 +08:00
@avastms 莫名奇妙,是数据库的问题,怎么又说 ruby 堪忧?犯不着这样踩吧。
EPr2hh6LADQWqRVH
EPr2hh6LADQWqRVH
2017-02-01 22:20:08 +08:00
@syhsyh9696 浮躁,踏实的公司出不了这个问题
okampfer
okampfer
2017-02-02 09:08:05 +08:00
请教各位一个问题,国内的大家使用哪家的呢?
1. git.oschina.net(我正在用)
2. coding.net
3. code.csdn.net
4. code.aliyun.com
ZE3kr
2017-02-02 09:09:31 +08:00
stevenkang
2017-02-03 10:28:27 +08:00
@okampfer code.aliyun.com 主要是快,稳定,可靠(至少比 CSDN )。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/337572

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX