rsync 对数据库增量备份效果怎么样

2018-09-21 19:47:21 +08:00
 binbinyouliiii

数据需要备份到本地,但是服务器带宽很小,做增量备份对我来说是个很好的选择。

但是碍于数据量比较大,带宽小,测试成本较高,所以做一回伸手党,来问下用这个效果怎么样。

1.备份出来的数据都是 json 或者 sql 文件,用 gzip 的话压缩率很高,但是这样的是不是增量更新效果会大大减弱?
2.假设本地文件内容是 aaabbb,服务器内容是 aaacccbbb,增量更新的话是从 ccc 处往后的内容全部更新还是自动只更新 ccc ?

小弟不胜感激

2389 次点击
所在节点    数据库
13 条回复
ETiV
2018-09-21 20:01:56 +08:00
binbinyouliiii
2018-09-21 20:12:46 +08:00
@ETiV #1 谢谢,不过现在主要是 pgsql 和 mongo
privil
2018-09-21 20:14:52 +08:00
在云上面的话,再开一个机器流量计费拖吧,别省这个钱,备份值的。
binbinyouliiii
2018-09-21 20:17:47 +08:00
@privil #3 在云上的话我就直接快照了
liangzi
2018-09-21 20:37:54 +08:00
第一次运行全部备份 之后都是备份有变化的文件 具体参数怎么写还得看需求 我自己备份 VPS 用这个 不过对于非 root 用户 无法完整备份(比如 sudoer 之类的文件就不能备份) 据说:如果需要完整备份 得在 VPS 上运行 rsync 的 server 才行。PS:root 用户登录 ssh 例外。
asilin
2018-09-21 20:38:10 +08:00
gzip 有一个 --rsyncable 选项,专门为 rsync 调优的,你可以试试,看下实际效果。
westoy
2018-09-21 20:41:05 +08:00
主从, 定期停从机进行完整备份
letitbesqzr
2018-09-21 21:45:25 +08:00
@westoy #7 如果数据量大,会不会有问题,从停太久,恢复以后同步速度跟不上主的新增速度?
expy
2018-09-21 21:54:46 +08:00
rsync 有个-z 选项可以试试。
billlee
2018-09-21 21:58:12 +08:00
mysql 增量备份用 binlog
letitbesqzr
2018-09-22 00:02:06 +08:00
@billlee #10 percona-xtrabackup 就是利用 binlog 来增量的,前几个周发布的测试版本总算支持 mysql 8 了,等出正式版支持 mysql 8 就可以考虑上 mysql 8 了。
likuku
2018-09-22 00:41:04 +08:00
纯文本的话,rsync 作增量还是 OK 的,尤其是开启了 -z 参数 (#9 楼赞一个),
注意安全的话,最好再套一个专用 VPN 来加个秘,或者让 rsync 直接呼叫 ssh 起个隧道来通讯(更省事),
rsync -z 在收发两头都是 linux 条件时工作正常。
aerostone
2018-09-22 09:55:42 +08:00
马克一下,现在是云备份,看后续有没有需求

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/491646

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX