4 千余万条格式文本数据导入 mysql，我准备写 shell 脚本导入数据库，大家有什么更好的建议？

[kofj]

Mingw，准备写shell脚本导入到mysql数据库。Navicat好用但是肯定卡，不能忍受，大家有什么更好更高效的方法？

[flynnX]

处理成批量插入的sql语句，然后执行试试，我试过一次批量插入20+W条数据，几秒搞定。建议开启事务再插入，以防数据有误，可能还有需要设置mysql packet大小，如果你的文本太大的话

[jianghu52]

我数据量没你那么大，大概1千万条，navicat就已经卡的不行了。后来实在没办法，他们写的python脚本，把记录分成10个文件，然后一个个导入数据库。有时间，就是这么任性~

[linkiosk]

写好shell别忘了共享一下

[kofj]

@flynnX 谢谢提醒，文本不大

@jianghu52 实测4G内存下Navicat会报错：memory out。BTW，分割文本不用专门写python吧？我的数据是单行有分隔符的，分割很容易

@linkiosk sure

[billwang]

数据量不大，可以等负载低的时候分时分阶段搞定。随时监控服务器负载及空间情况。oracle的话还得监控归档空间使用，mysql应该不用。

[mhycy]

处理成SQL语句以后直接在服务器上用mysql管理器用source命令导入

[jianghu52]

你是直接copy到query下执行啊。还是用的dump sql 的形式执行的？
dump sql 也会报错么？

[mahone3297]

bulk insert

[xiaogui]

使用 dump

[pi1ot]

load file？

[a591826944]

弄成 sql 用命令行 轻松导入啊 命令行最快了

[markmx]

不管是什么导入 如果表类型是iNNODB的话。记得先google一下。。会快很多的！

[Battle]

求助，我也遇到了你这个问题；
我的是Access文件，每一个文件都是上百万条的数据，估计navicat会卡死，不知道怎么用shell导入到mysql中

[hanwujibaby]

切分文件入库。