大文件导入 MYSQL，如何最快速。

2014-07-22 20:20:21 +08:00
 Sevnx
现有一个文本文件，5G，一条记录一行，总共两千多万条
每条记录都有固定格式。
有什么方法能快速导入？
用python一条一条插入，感觉效率很低。
4802 次点击
所在节点    MySQL
8 条回复
p2p
2014-07-22 20:40:13 +08:00
The LOAD DATA INFILE statement reads rows from a text file into a table at a very high speed.
hjse7en
2014-07-22 21:11:06 +08:00
LOAD DATA INFILE
fisherv
2014-07-22 21:12:54 +08:00
那么大的文件...
Sevnx
2014-07-22 21:17:13 +08:00
@fisherv
@hjse7en
@p2p
谢了。已经搞定了。
dekinr
2014-07-22 21:38:14 +08:00
咋搞定的，求分享 @Sevnx
lijinma
2014-07-22 22:09:24 +08:00
如果是我，我会把 大文件记录----》生成 SQL 语句 ------》 source

不知道会不会快一点？
Sevnx
2014-07-22 22:41:36 +08:00
刚跑完。就一楼那个指令。跑到现在了 。也不是很快。。
@dekinr
monkeylyf
2014-07-23 07:01:47 +08:00
batch load/batch write

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/123984

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX