请教,有无简单易用的 PostgreSQL 表结构、数据的同步工具?

222 天前
 JackyTsang
可能我理解得比较简单,就是假设一个生产的 PostgreSQL 数据库的 A 、B 、C 库,都实时或 Cron 定时地同步到另外一个 PostgreSQL 数据库的 A 、B 、C 库。

网上搜索都是都是啥大数据相关的内容,什么 ETL 、CDC 、ODS...看不懂,且感觉有些杀鸡用牛刀?还是说可能搜索的关键词不行?我主要的目的是提供给第三方写视图用的,烂视图对数据库性能的影响大家应该都知道,他们搞砸了都不会影响到生产库。

因为涉及到增删改查,肯定有读写,也没法去做一个生产库的流复制从库给人家用。

总结一下我要的功能可能是类似 Navicat 上的 “结构同步” 与 “数据同步”,然后它是简单的,命令行的,可自动化的。

谢谢大家。
2525 次点击
所在节点    PostgreSQL
18 条回复
FTLIKON
222 天前
自己写个脚本同步就可以了,你要用第三方工具难免很复杂
tuutoo
222 天前
试试 Airbyte?
thtznet
222 天前
定时备份/还原
littlezzll
222 天前
pgquarrel ?
qing108
222 天前
自己写一个 python 脚本同步不就好了
Ackvincent
222 天前
python 用 psycopg2 写个脚本就可以了,没多大工作量。
tomczhen
222 天前
fdw
nolo
222 天前
外部表或者逻辑复制
privil
222 天前
dbswitch 试试,我上周刚测试同步空库没啥问题,实际数据量大了不知道
54yzwddsg
222 天前
主从模式?
srlp
222 天前
datax 阿里的,好用
fangxing204
222 天前
pgsync
dayeye2006199
222 天前
Airbyte
ABBOTBREW
221 天前
HeidiSQL
encro
221 天前
PostgreSQL 自带 fwd 能满足您要求?
sujin190
221 天前
只同步数据的话那分享下项目

https://github.com/snower/syncany-sql

把 SQL 当作脚本执行,内部有自动依据主键增删改同步数据的逻辑,可以用 crontab 来调用

set @use_output_type='UPDATE_DELETE_INSERT';
insert into `pg2`.`adata` select `id`, `name`, `create_time` from `pg1`.`bdata` where `id`>=2;

使用 set @use_output_type 设定更新目标库方式,可选值有 INSERT 、UPDATE_DELETE_INSERT 、UPDATE_INSERT 、DELETE_INSERT ,不设置时和正常 insert into 一样默认 INSERT ,select 的第一个字段自动认为是主键,相同主键执行 update ,否则插入
yjhatfdu2
221 天前
数据的话,用数据库原生的 publish 、subscribe 是最简单最优的,但是不能自动同步 DDL ,发生 DDL 后需要先在从库中更新 DDL 再继续订阅
guxin0123
221 天前
Navicat 自动运行 试过了没

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/1041038

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX