有没有能使 MongoDB 定期增量备份到远程服务器并清除已备份数据的方案？
qq316107934 · 2018-01-14 20:17:19 +08:00 · 2456 次点击这是一个创建于 2503 天前的主题，其中的信息可能已经有所发展或是发生改变。
在某云上写了一个爬虫监控某个系统的实时数据，每天有 3GB 的数据量，但云硬盘很小，剩余空间只够三天的用量。
请问有没有什么方案能够将这段时间产生的数据全部导出并移除，或者直接远程同步（异步）到另一个 MongoDB 服务器上。想过直接 dump+remove，但是在执行操作的时候爬虫产生的数据可能没被 dump 就 remove 了。
谢谢~
第 1 条附言 · 2018-01-14 21:16:40 +08:00
加 fsync 锁解决了= =谢谢大家
 |
1
h4lbhg1G 2018-01-14 20:24:48 +08:00  1
两个表，如果日期是奇数使用 A 表，日期是偶数使用 B 表，那么你有一天的时间来导出同步表。
日期切换做在最后一次采集完成后。然后切表，同时触发同步操作。 其实是我 YY 的，我完全不懂 MongoDB |
 |
2
qq316107934 OP @h4lbhg1G #1 感谢回答，这样要在爬虫里做判定，还可以一天一个 collection，但是其实是有多个 collection 存在的，这样做可能不方便管理，我想从数据库层面解决这个问题。
|
 |
3
just1 2018-01-14 20:42:45 +08:00 via Android 1
b 定时从 a 获取数据，入库，导入成功把后把这边已经入库的 id 返回去 a，让 a 删除。这样或许可行？
|
 |
4
ray8888 2018-01-14 21:38:36 +08:00
mongo 有个 oplog，就是操作日志，可以重放所有操作，基于 oplog 好像可以实现增量备份，也可以防止 dump 过程中的数据操作丢失，lz 查查这个
|
Select Language