PHP 50W 条记录 EXCEL 文件导入数据库求指导下方法

[jd186]

数据库表有 50W 左右的记录。每条记录有 300 的个的字段。

要以 EXCEL 或者 CSV 形式的文件批量导入数据库。

我用 PHPEXCEL 做导入时一直报错。文件都打不开。求大神指导下。谢谢

[greed1is9good]

每条记录 300 个字段。。。。
服。。。

[vincenttone]

保存成 csv，然后 php 或者 shell 直接读文件，按行读取，别一口气载入内存，读取几百条就往数据库塞一次，没塞进去的记录一下。

[jd186]

@greed1is9good 确实是这样是一个汽车配件关联表。他 300 多个字段全是配件关联 ID。很奇葩

[lbp0200]

你为什么不说 PHP 爆出的错误信息？

[b821025551b]

用 csv 然后按行读文件吧，PHPEXCEL 一下子导入那么多会爆炸的。

[yogogo]

yield 了解下

[YMB]

建议解决方案：
1.看看有没有支持将 Excel 转换为 sql 语句的工具。
2.看看有没有支持将 Excel 导入到数据库的工具，不知道 navigate 是否支持。
3.看看有没有工具能分割 Excel，多跑几次。
4.PHP 语言本身没问题，看咋用。

[jimmyczm]

之前我是用 access 将数据库里面的导出来，再转成相应的文件

[cdwyd]

必须用 php 吗？
不是的话用 load from 这个数据量很容易

[sarices]

navicat

[lsls931011]

使用 PHP 每一次读取几百条记录然后放入 redis 的队列里面， 再使用另外一个 PHP 进程读取 redis 并放入数据库。 如果怕内存暴涨， 可以判断队列长度，等待队列的数据被读取完了， 再放入队列里面，继续工作. 50W 数据你直接使用 PHPExcel 然后 foreach 去读取,php 可能会因为耗时太久报错了

[houshengzi]

生成器，了解一下

[gouchaoer]

用 csv 一次读取一部分数据，然后导入数据库

[mylopk]

mysql load data file,整个文件导入，一条 sql 语句解决

[mosliu]

不熟悉 php
不过感觉可以用工具来做啊
用 navicat 这个应该没问题。。。

[Mac]

@b821025551b 没那么恐怖，我 I3 的机器，8G 内存，用 PHPEXCEL 导 5W 条记录，几乎是秒倒的

[tomczhen]

上传文件，把 CSV ／ excel 当数据库来操作。

[akira]

@Mac 加载都不能秒加载吧，何况是导入到库里面。

@jd186 本地想办法把 excel 文件转化成 csv 格式或者处理成 sql，再来做到数据库的导入动作。不要拿着个 php 就到处敲

[lianxiaoyi]

50 万数据量并不大啊。。。。。就内存稍微大点吧 。加根内存条解决啊。。。。云服务器暂时买一台内存比较大的服务器就好了啊。。。然后用 cli 模式导入。。。。

[Mac]

@akira 可能是我的列数没他这么夸张，我大概是 10 列。excel 文件里有很多暗桩的，有些\n \r 你导出成 csv 还是有，我就吃过这个暗亏，groupby 出来看上去是相同的，其实是不同的。还是用 php 过滤处理一下比较干净。