PHP 50W 条记录 EXCEL 文件导入数据库求指导下方法

[jd186]

数据库表有 50W 左右的记录。每条记录有 300 的个的字段。

要以 EXCEL 或者 CSV 形式的文件批量导入数据库。

我用 PHPEXCEL 做导入时一直报错。文件都打不开。求大神指导下。谢谢

[moro]

用 Navicat，可以直接导入 excel

[heretreeli]

Navicat +1

[fortunezhang]

我一般是用 python 读取 excel 文件，然后一次读取一条，组织成 sql，写入一个 sql 文件中，然后 mysql source 一下。

[Bisn]

Perl

[yujieyu7]

估计是一次性读取入内存做写入的，这个数据量，一个字段 10 字节，都 50w*300*10B，小 1.4g 。

自己写个脚本，一行行的读取导入吧

[wingoo]

load data 最快的

[xiaoyang7545]

直接 navicat 可以的话就 navicat,如果实在需要 php。请分段用 csv。用 xls 的格式+phpexcel 效率非常低下。你这个估计是超出内存限制了。

[tegic]

https://github.com/viest/php-ext-excel-export
了解一下。

[lihongjie0209]

forkjoin thread pool 了解一下.
本质上也是切割文件然后多线程插入数据库.

[silencefent]

干嘛不用工具呢，mysqlfront 十分钟之内搞掂

[liujinsong668]

生成器，了解下

[wwww961h]

用工具吧，最简单了,navicat

[ericgui]

https://awesomejs.org/Linux/How-to-split-large-csv-files-into-smaller-ones/

先把大文件切割

[DavidNineRoc]

使用 excl 转化成 csv，现在很多数据库可以直接把 csv 转成表，变成表之后再做字段的修改之类的

[dy7338]

数据库可以直接导入 excel 格式的

[jourdon]

300 个字段还放一个表里，历害了。。。

[jourdon]

用 SplFileObject 来读取吧，几万条写一次，速度很快，我试过 50 万条数据 不到一分钟搞定