从 PG 到 Mysql 倒腾数据，有啥高效的方案？

2016-09-01 10:41:46 +08:00
 kyrre

PG 数据量 5 千万条，只有一个表，外加若干索引。总共 14G 。 跑的版本是 9.5.4 现在要在 percona 5.7 里倒入这张表，有啥快一点的方案／工具吗？

1105 次点击
所在节点    数据库
8 条回复
julyclyde
2016-09-01 11:21:12 +08:00
如果是 ORM 写入的数据的话，从 ORM 转一下应该是最靠谱的了
处理 DUMP 文件太麻烦……
moult
2016-09-01 12:15:59 +08:00
就一张表么，表结构处理忽略不计了。主要就传数据慢。
毕竟两个数据库，肯定要先导出再导入的！试试看 Navicat 的数据传输功能。
julor
2016-09-01 12:44:48 +08:00
为啥要换数据库？
kyrre
2016-09-01 14:25:33 +08:00
@julyclyde ORM 肯定是最慢的了，中间环节太多，不值当。
@moult 我直接在一台机器上搞，读本地文件就可以了， navicat 还要网络传输，太慢。
PS ，我直接在一台 linux 上倒腾。
wyntergreg
2016-09-01 14:33:25 +08:00
就是想比较一下两个最新版的性能。
从题干来看比的是两个数据库的性能吧？两个数据库都建同样的表，写个脚本往里塞上测试数据，然后配上相应的 view 测试一下就知道了
firefox12
2016-09-01 16:21:50 +08:00
load 是最快的， 原来我的数据库 2000w 纪录 也是用这个方案 备份恢复的。 512M vps 基本上 3-5 秒就好了。
ppwangs
2016-09-01 16:36:55 +08:00
获取你会想用 kettle 。
jackysc
2016-09-01 16:37:42 +08:00
顶楼上 用 kettle 吧

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/303122

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX