如何处理一个 1.5G 的 json

[0bject]

json 的数据结构是:

{
  "key1": {
    "key2": [
      { 200 多行各种结构}, 
      { 200 多行各种结构}, 
      { 200 多行各种结构},
      ...1.5G
    ]
  }
}

我想把数组全写进数据库, 服务器是前一阵 Oracle 1C1G 免费的...
在我的 15 年 8g mac 上尝试过 stream-json, 结果奔溃了
我想的最后的方法就是按行读, 可能也只能按行读了...

[qiayue]

https://github.com/lemire/simdjson 解析速度 2.2GB/s

[hoyixi]

流处理应该没问题，看看是不是库的参数没调对。

此外，JSONStream 也可以试试

[0bject]

@Mutoo 那可能是我没用对 我再去试试
@sinv 你是哪个司机。。。
@gabon 哈哈哈
@hammer86 这又一个司机？
@azh7138m 可能是我没用对 我再去试试
@qiayue 谢谢
@0o0O0o0O0o 谢谢
@Maboroshii 谢谢
@prenwang 谢谢
多谢各位 新名词太多了 我去用 stream-json 再试试 然后我来贴代码

[20015jjw]

新的 mac pro 1.5t 内存能派上用场了..？
（单位不一样

[0bject]

@azh7138m
@Mutoo
我把代码贴上了 谢谢

[eason1874]

按行读的前提是你的数据是按行存，现在显然不是。

像这种，我不知道有没有现成的轮子。如果让我处理的话，我会按块读取，比如每次读 1MB，正则提取出 JSON 格式字符串（剩下的放到下一块），然后解析。

[0bject]

@eason1874 有道理 如果我不能拿到 里面的一层 看来只能自己写了

[Mutoo]

@0bject 你的问题就是尝试去读整个数组，肯定会内存不足。以下 gist 这是我改的 demo 你可以参考一下。
https://gist.github.com/mutoo/28667cfe7e9806ae4cfca9f348997f03

[0bject]

@Mutoo 多谢 代码有用
我是 filter 没用对, https://github.com/uhop/stream-json/wiki/FilterBase#constructoroptions