mysql 如何导入 20g 的超大文件

[userlijinhong]

最近对 mysql 如何导入超大文件比较感兴趣。我看网上的教程方法乱七八糟，什么 navicat 导入都说出来了，我目前的思路是先将文本划分为小文本，然后再导入。不知道有没有更好的办法，求教！

[towser]

泄漏的电话？

[userlijinhong]

@mrhhsg 我说的超大是文件大小，不知道这样说是否合理，或者说你们对超大有什么其他的见解 （我竟然不知道怎么在这上面发表情）

[userlijinhong]

@des csv

[userlijinhong]

navicat 是可以导入，但是考虑到网络 IO 的问题，可能会比较慢；然后数据文件还是在服务器上的，本地文件的读取就不用考虑数据路由，网络带宽等因素了

[aice755169]

什么格式没说，不同格式 效率差很多的

[userlijinhong]

@funbox 对于这种手动提交事务的话，我觉得还是把文件划分为小文件了再导入，万一数据出错，又要重新来

[userlijinhong]

@lTsuKi 我等哈去试一哈

[userlijinhong]

@aice755169 是我大意了，格式的话是 cvs

[ruzztok]

我还以为你要导入一部电影到数据库中

[userlijinhong]

@KouShuiYu 我开始看半天嗯是没看懂这个红薯...不过我没那么多的红薯资料

[Hodor]

文件发我，我帮你测试一下啊，哈哈哈

[userlijinhong]

@Hodor 这就不劳烦兄弟，我觉得我能行，哈哈嗝

[Donss]

datax?

[lixintcwdsg]

不管如何，一定要用 load data，其余效率和 load data 都差好远
然后文件要分割一下

[lyy16384]

我觉得直接写程序插入就行，多线程，一次 insert 多行，批量提交事务，直接拼 sql 不要用参数化，程序和数据库放一台机器上，其他访问数据库的服务都先下线
以前用这种方式迁移过两亿条数据，而且是一边读 db 一边处理逻辑一边写 db，只要半小时左右

[dorothyREN]

20G 真不算大

[Shuiss]

@wangkun025 红薯是什么？

[wangkun025]

@Shuiss 随口一说而已。别当真。抱歉带来困扰。
毕竟楼主说大文件，我也不知道是什么啊。后来楼主说是 csv 。
万一是 sql 呢，万一是 Excel 呢，万一是蓝光高清电影呢，万一是照片呢。
开始楼主没说啊。就这。

[lostberryzz]

44.65G 神秘文件哈哈哈

[KIzuN1]

@lostberryzz 制种者为啥把 WB 弄了两份捏