POI 如何快速导出千万级数据的 Excel

[Kimen]

在使用 POI 导出一千万行数据到 Excel 时，CPU 长时间爆炸💥
现在的解决方案是：

• 使用 SXSSFWorkbook 类
• 每 50W 数据划分 sheet
• 采用多线程，每个 sheet 开一个线程去跑

现已探明的问题：
一千万的数据在创建 Excel 前都存储在 list 中，当 list 占用内存很小时，导出很快，一旦 list 变得很大，分段导出都会变的很慢

[Kimen]

@fengpan567 数据实时在产生，分页查会导致第二页和第一页数据有重复

[Kimen]

@chendy csv 碰到数据里面带逗号的都懵逼了

[Kimen]

@jzphx 没有用过 easyexcel，我看文档 easyexcel 是基于注解的，但是我的数据流是 List<Map<String, Object>>这种形式的，不知道能不能用

[chendy]

@Kimen #22 能转义，不用程序实现直接用数据库的导出功能

[Kimen]

@franklinray csv 就怕遇到逗号，用户在导出之前也不知道自己能不能打开，就想看看能不能导出来。看来我要跟领导提一下，限制用户的导出数量

[Kimen]

@jorneyr 心里已经锤死客户一千万遍了

[A1exlee]

不建议一次性将一千万数据加载到 list，可以考虑分页读库，比如每次 load 100 万条，然后写入一个 excel，分开写 10 个 excel，通过编号确认顺序，最后客户端打包下载。

[fpure]

@MidGap SXSSFWorkbook 还要记得清理硬盘缓存，也是坑

[spLite]

数据库导出 Excel 或者 csv，应用程序只负责把导出的文件传输给用户。
“用户在导出之前也不知道自己能不能打开” —— 可以先手动搞一个 1000W 的 Excel 让客户打开看看么，如果他自己看下打开费劲，说不定自己就否了这方案了。

[doudou1523102]

建议分批导出，然后进行压缩

[kifile]

csv 不是也可以用 excel 打开吗？还是流式卸乳的，考虑考虑

[speedofstephen]

poi 有流式 api 写 excel 的。建议不要全量放在 list 中

[lwjef]

创建个占用空间很大的假 excel，反正用户打不开。(doge

[MidGap]

@Kimen CSV 的分隔符可以指定，不一定非要逗号的。。

[onionKnight888]

@liuxu 哈哈 你永远无法理解客户的需求有多奇葩

[zhenglin]

建议导出为多个 csv 再压缩成 zip 文件，SB 需求不能接！再说千万数据在一个 Excel 里他如果是普通电脑能打开么？

[2bNot2b]

excel 有行数上限，我记得 xls 是 10W 多吧，xlsx 是 1048576

[wqhui]

上面三个方法我当时都用了，poi 我记得有个流模式，类似于窗口控制，读一部分写一部分这个会快很多，忘了是不是叫 SXSSFWorkbook，但占内存还是挺多的，我当时三百万记录差不多耗 2G 内存，不过为什么不分几个 excel 文件然后打成压缩包呢，excel 太大打开可能会崩溃

[aitaii]

excel 很大，你的电脑忍一下

[Lemeng]

千万级，客户也是秀逗