之前有用过 load data 100G 的 CSV 文件导入单表,没有约束和索引,一次性导入差不多用了三个小时,速度差不多是 11MB/s ; 现在用 load data 导入 10g 的 dat 文件(想使用 tpcds 生成的数据文件)到单表,也没有使用约束和索引,发现出奇的慢,已经三天了,现在速度 1 个小时才 100MB。 考虑到是单表,事务我就一次 load data 一次 commit,也没有拆分文件; 两次情况差不多,没有特别改 my.cnf 配置文件,甚至 100g 的文件里有 100 个字段,而 10g 的才 18 个字段,导入文件内容的格式和分隔符也都一样,不知道这么慢的原因是什么,为什么小一点的还慢,慢的离谱有点。 ps:导 10g 的时候我稍微调大了一个参数 max_allowed_packet = 128M,其他没动过。
有对 mysql 了解的大大提供点建议 help 一下咩,谢谢了。
这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。
V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。
V2EX is a community of developers, designers and creative people.