mysql 导入超大 sql 文件有什么办法

2021-02-01 10:35:20 +08:00
 Dreamerwwr

我这里的 sql 文件,大概 120GB,如何能导入到 mysql 呢?有什么优化呢? 我这里使用的是 source xxx.sql 进行导入,但是好像阻塞了,非常慢。例如这样:

Query OK, 1727 rows affected (18.47 sec)
Records: 1727  Duplicates: 0  Warnings: 0

Query OK, 1703 rows affected (14.58 sec)
Records: 1703  Duplicates: 0  Warnings: 0

Query OK, 1717 rows affected (12.20 sec)
Records: 1717  Duplicates: 0  Warnings: 0

Query OK, 1699 rows affected (21.12 sec)
Records: 1699  Duplicates: 0  Warnings: 0

Query OK, 1706 rows affected (13.85 sec)
Records: 1706  Duplicates: 0  Warnings: 0

Query OK, 1704 rows affected (19.86 sec)
Records: 1704  Duplicates: 0  Warnings: 0

而且我查询数据时, 特别耗时:

select count(*) from tabale;
+-----------+
| count(*)  |
+-----------+
| 180189257 |
+-----------+
1 row in set (19 min 51.76 sec)

请教各位,有什么优化方案和优化吗?感谢不吝点拨:

4551 次点击
所在节点    程序员
27 条回复
jzmws
2021-02-01 15:51:09 +08:00
直接导出文件 xtrabackup 用这个迁移
zxbutton
2021-02-01 16:38:50 +08:00
切分文件,去掉索引啥的,用 load data infile
cheng6563
2021-02-01 17:04:30 +08:00
@wowbaby 为啥 navicat 会比较快?是 navicat 会自动合并 Insert 吗?
bthulu
2021-02-01 18:19:05 +08:00
@cheng6563 navicat 是批处理
cveoy
2021-02-01 19:32:18 +08:00
这是裤子吗?
janssenkm
2021-02-02 00:58:55 +08:00
@cveoy 我猜就是裤子。
Dreamerwwr
2021-02-02 17:14:06 +08:00
@weizhen199 是的

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/750169

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX