有没有好的方法导入 5000 多个 csv 文件到 mysql 呢

2017-01-03 10:04:53 +08:00
 zhaoshijun
4066 次点击
所在节点    Python
8 条回复
isofia
2017-01-03 10:28:25 +08:00
写个脚本跑一下吧,或者 excle 有宏,直接把 5000csv 合并
miaoever
2017-01-03 10:30:22 +08:00
https://github.com/alibaba/DataX

DataX 可以实现 csv 到 mysql 的快速导入。
ArcherFeel
2017-01-03 10:43:42 +08:00
我一般是这么弄的

for i in ./*; do cat $i | tail +n 2 | tr -d '"' | awk -F ',' '{insert into xxx values....}'>>/tmp/final.sql ; done
BOYPT
2017-01-03 11:16:03 +08:00
for LOG in *.csv; do

echo "LOAD DATA LOCAL INFILE '$LOG' INTO TABLE `tbl_xxxx` FIELDS TERMINATED BY ',' (fld_xxx, fld_xxx);" | mysql -u$MYSQL_USR $MYSQL_DB;

done
guodongbin
2017-01-03 13:00:28 +08:00
试试 mysql 的 load data infile
neoblackcap
2017-01-03 13:02:36 +08:00
mysql 不是有 csv 引擎吗?不是能直接打开吗?
kxjhlele
2017-01-03 14:10:44 +08:00
@miaoever 这工具不错.
laobaozi
2017-01-03 21:06:07 +08:00
将 csv 打开为 excel
在 excel 中使用函数将列拼接成 sql

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/331824

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX