GitLab.com 误删了数据,现在彻底挂了

2017-02-01 09:53:39 +08:00
 ZE3kr
已经宕机两个多小时,预计还会继续。



他们发了个Google Docs,里面一些内容也是值得学习的

https://docs.google.com/document/d/1GCK53YDcBWQveod9kfzW-VCxIABGiryG7_z_6jHdVik/pub
10288 次点击
所在节点    GitLab
30 条回复
matrix67
2017-02-01 12:12:22 +08:00
主要原因是手快

YP thinks that perhaps pg_basebackup is being super pedantic about there being an empty data directory, decides to remove the directory. After a second or two he notices he ran it on db1.cluster.gitlab.com, instead of db2.cluster.gitlab.com


2017/01/31 23:27 YP - terminates the removal, but it ’ s too late. Of around 310 GB only about 4.5 GB is left - Slack

然后他们还想用这个方法 恢复。难道他们是现场 google 的?应该不会吧。

JEJ: Probably too late, but isn't it sometimes possible if you make the disk read-only quickly enough? Also might still have file descriptor if the file was in use by a running process according to http://unix.stackexchange.com/a/101247/213510


Azure 这个删的快。想到 adobe 那个梗。 mac 要放个 adobe 压压惊。

Also, Azure is apparently also really good in removing data quickly, but not at sending it over to replicas.
wanghanlin
2017-02-01 13:07:11 +08:00
没人关注这个点吗
Removed a user for using a repository as some form of CDN, resulting in 47 000 IPs signing in using the same account
nomaka
2017-02-01 14:49:06 +08:00
The incident affected the database (including issues and merge requests) but not the git repo's (repositories and wikis). 文件存储的东西还在
ZE3kr
2017-02-01 14:54:06 +08:00
@nomaka 感觉没什么用, git 一般本地都有,而就本地没有的那些它反而丢了,所以💊的节奏,数据库里还有用户账号和各种认证信息等等。
Drops
2017-02-01 18:42:07 +08:00
@yangqi 这个好像只有自建,自己搞定备份
syhsyh9696
2017-02-01 20:43:21 +08:00
@avastms 莫名奇妙,是数据库的问题,怎么又说 ruby 堪忧?犯不着这样踩吧。
EPr2hh6LADQWqRVH
2017-02-01 22:20:08 +08:00
@syhsyh9696 浮躁,踏实的公司出不了这个问题
okampfer
2017-02-02 09:08:05 +08:00
请教各位一个问题,国内的大家使用哪家的呢?
1. git.oschina.net(我正在用)
2. coding.net
3. code.csdn.net
4. code.aliyun.com
ZE3kr
2017-02-02 09:09:31 +08:00
stevenkang
2017-02-03 10:28:27 +08:00
@okampfer code.aliyun.com 主要是快,稳定,可靠(至少比 CSDN )。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/337572

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX