从 PG 到 Mysql 倒腾数据,有啥高效的方案?

2016-09-01 10:41:46 +08:00
 kyrre

PG 数据量 5 千万条,只有一个表,外加若干索引。总共 14G 。 跑的版本是 9.5.4 现在要在 percona 5.7 里倒入这张表,有啥快一点的方案/工具吗?

1086 次点击
所在节点    数据库
8 条回复
julyclyde
2016-09-01 11:21:12 +08:00
如果是 ORM 写入的数据的话,从 ORM 转一下应该是最靠谱的了
处理 DUMP 文件太麻烦……
moult
2016-09-01 12:15:59 +08:00
就一张表么,表结构处理忽略不计了。主要就传数据慢。
毕竟两个数据库,肯定要先导出再导入的!试试看 Navicat 的数据传输功能。
julor
2016-09-01 12:44:48 +08:00
为啥要换数据库?
kyrre
2016-09-01 14:25:33 +08:00
@julyclyde ORM 肯定是最慢的了,中间环节太多,不值当。
@moult 我直接在一台机器上搞,读本地文件就可以了, navicat 还要网络传输,太慢。
PS ,我直接在一台 linux 上倒腾。
wyntergreg
2016-09-01 14:33:25 +08:00
就是想比较一下两个最新版的性能。
从题干来看比的是两个数据库的性能吧?两个数据库都建同样的表,写个脚本往里塞上测试数据,然后配上相应的 view 测试一下就知道了
firefox12
2016-09-01 16:21:50 +08:00
load 是最快的, 原来我的数据库 2000w 纪录 也是用这个方案 备份恢复的。 512M vps 基本上 3-5 秒就好了。
ppwangs
2016-09-01 16:36:55 +08:00
获取你会想用 kettle 。
jackysc
2016-09-01 16:37:42 +08:00
顶楼上 用 kettle 吧

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/303122

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX