求问想处理一个 21Gjson 文件需要怎么操作啊

[bfpiaoran]

有人跟我说
with open("file_name",'r') as file：
for line in file:
pass
这样读可以的 有没有更好的方法呀

[wizardoz]

自己从头解析啊，深度优先，一层层放入数据库。

[FanWall]

@814084764 #19
SAX +1，边读取边解析边对解析后的数据进行处理

[bfpiaoran]

@wizardoz 打算这么做了

[crab]

导入数据库，再通过数据库来

[RicardoScofileld]

有个流式读取 json 的库 好行叫 jsonstream 来着可以用那个

[RicardoScofileld]

@Droi 如果 json 数据不规整，read_json 不会报错吗

[icyalala]

mmap 然后用 SAX 的 API 读取。
如果用 C++ 的话，可以试试 rapidjson。

[luozic]

想办法处理一下，把数据搞进数据库。后面玩起来就爽了，elk，postgresql 都支持直接处理 json

[bfpiaoran]

@luozic 搞了下太慢了 最后把首字母排序处理的~~

[luozic]

@bfpiaoran 你得先把这些数据解析一下塞到数据库里面再搞，直接塞，太耗 cpu 内存了。