请教下 mysql 大量数据每日备份问题

2016-10-12 14:40:35 +08:00
 sujin190
一般大量数据,比如数百 g 都是怎么做每日备份的呢? Xtrabackup 导出有点搞不动啊,需要的时间太久了,又一直占着磁盘 io ,压力太大了
5965 次点击
所在节点    MySQL
18 条回复
TaMud
2016-10-12 14:56:42 +08:00
一天产生几百 g 数据?
那你可以做个主从服务,从服备份
Infernalzero
2016-10-12 15:03:31 +08:00
直接 mysqldump 或者设延时库,单纯的主从备份没用的,你 master 删了 slave 也删了啊
liyj144
2016-10-12 15:12:02 +08:00
1. 拆库拆表,多进程(按库)备份。 500G 的数据,普通磁盘几个小时就备份完了。 2. 磁盘上 SSD 会更快,备份完也可以快速跟主库同步。更何况备份是在备机上的, io 高一些影响也不大。
kanchi240
2016-10-12 16:01:09 +08:00
Xtrabackup 不是支持增量备份的吗。。“ Xtrabackup 导出有点搞不动”是什么意思?
pc10201
2016-10-12 16:11:21 +08:00
主从同步,用从库备份,一般是周备,但保留并备份最近 7 天的日志
ElmerZhang
2016-10-12 17:30:33 +08:00
专门有个不提供线上服务的从库做备份。
最简单粗暴的备份方法:停实例, rsync 走。
如果不要求保留每天的备份,可以直接搞个延时从库。
guyskk
2016-10-12 22:51:30 +08:00
数据放到 LVM 磁盘上,通过磁盘快照做备份。也许可行。
msg7086
2016-10-13 03:10:51 +08:00
主从,随便拿了个 SSD-cached VPS 做的,一个月几欧元的样子。
sujin190
2016-10-13 09:06:42 +08:00
@pc10201 binlog 日志么?
sujin190
2016-10-13 09:08:02 +08:00
@ElmerZhang 大量数据 rsync 快还是 copy 快,同一台机器上的两块磁盘
sujin190
2016-10-13 09:08:45 +08:00
@guyskk 这是一个方法不过得停服务吧
guyskk
2016-10-13 09:44:16 +08:00
@sujin190 扇贝网是这么做的,之前看过他们发的一篇文章上说了。 V 站上能搜到。
noahzh
2016-10-13 11:15:01 +08:00
一个专用备份从库,每天用 mysqldump 备份,然后 lz4 压缩,同时也备份 master binlog
zqcolor
2016-10-13 11:57:07 +08:00
主从服务,从服备份, 同时也备份 master binlog

+1
ElmerZhang
2016-10-14 13:14:09 +08:00
@sujin190 增量的话 rsync 快,全量的话 cp 快。
还有一个方案是备库跑在 lvm 卷上,直接打快照
ElmerZhang
2016-10-14 13:31:01 +08:00
五年前我还调研过一个叫 NILFS 的日志型文件系统,当时还不成熟,现在不知道发展怎么样了,楼主可以看一下。
yghack
2016-10-14 14:45:24 +08:00
分库分表
主从 + 从库只读 + 从库备份
顺便拆分 binlog
备份 binlog
Legendzhan
2019-09-20 17:22:48 +08:00
按表备份到响应的库中,前提是表不要搞的太大

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/312218

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX