如何处理一个 1.5G 的 json

[0bject]

json 的数据结构是:

{
  "key1": {
    "key2": [
      { 200 多行各种结构}, 
      { 200 多行各种结构}, 
      { 200 多行各种结构},
      ...1.5G
    ]
  }
}

我想把数组全写进数据库, 服务器是前一阵 Oracle 1C1G 免费的...
在我的 15 年 8g mac 上尝试过 stream-json, 结果奔溃了
我想的最后的方法就是按行读, 可能也只能按行读了...

[lichdkimba]

别问 问就是加内存

[fuermosi777]

我跑一个东西处理 60 多 G 的 json，用 go 自带的 json 包毫无压力

[noqwerty]

知道结构的话用 jq pipe 进去可以吗

[okchum]

LZ 我好像约莫着估计你是不是在某海外开车群

[sleepm]

https://viewer.dadroit.com/
可以查看也可以导出

[0bject]

@okchum 你...

[0bject]

@sleepm 我在电脑里也可以查看, 我想用程序读
@noqwerty 谢谢 我去看看
@fuermosi777 学不动了啊 秃顶了庶

[Maboroshii]

python ijson

[gabon]

跟我读：bengkui 崩溃

[chinvo]

在本地直接读进内存，插进库里导出 SQL 然后到服务器上执行

[0o0O0o0O0o]

rapidjson 这些库有 SAX API

[prenwang]

学习 elasticsearch 的 bulk , 逐行解析, 每行一个 json 对象,不要整个文件一个对象

[matrix67]

@gabon 233333

[sinv]

@okchum #4 好像 约莫着 估计 是不是 某

哈哈哈哈



@0bject

[love]

整个结构是个 map ？这是什么逗逼设计，没法流式处理

[hammer86]

@okchum 群号？我朋友想看看是不是同一个群

[azh7138m]

崩 beng 溃 kui
stream-json 本身没有问题，一般是代码写的不对，为啥不直接给一下代码呢？

[wtks1]

@love 看起来是电报群的命令行导出数据？

[Mutoo]

stream-json 边解析边写入数据库，解析完就 GC，只要不要在内存里留副本，不会有问题。

[billlee]

jackson/jsoniter 有流式处理 API.