求问想处理一个 21Gjson 文件需要怎么操作啊

[bfpiaoran]

有人跟我说
with open("file_name",'r') as file：
for line in file:
pass
这样读可以的 有没有更好的方法呀

[hellojinjie]

直接 json.loads

嗯，这个时候就是考验你是不是土豪的时候了😄

[hahastudio]

https://pypi.org/project/ijson/

[yedashuai]

@hellojinjie 楼上坏坏～～～

[mokeyjay]

json 是有一定结构的，你一行一行读了也没法解析呀

[haon]

分块啊

[bfpiaoran]

问题是 json 格式啊 可怜我的小破机器只有 16G @hahastudio @hellojinjie 坏银~~

[qfdk]

扔进 elk ？

[yanaraika]

开 swap，存成 hdf 等适合大数据的格式

[InternetExplorer]

哪个机器导出来的？这么牛的机器一定也能读吧，让那个机器转成可以分块读取的数据结构再给你

[bfpiaoran]

@hahastudio 这个库可以读么

[eastrd]

丢进 Splunk 吧

[bfpiaoran]

@InternetExplorer 从网上下的 dns 记录

[bfpiaoran]

@yanaraika
@eastrd 就像用本机处理 再开大数据好麻烦。。

[bfpiaoran]

凉了 不是 21G 解压之后 127G

[hahastudio]

@bfpiaoran https://www.dataquest.io/blog/python-json-tutorial/
不过好像要分行，如果你这个只有 1 行，那我估计你就要先预处理分行了

[Droi]

用 pandas 试试
详细的教程：
https://www.dataquest.io/blog/python-json-tutorial/

[strict]

json.load(f)试试？

[xenme]

@bfpiaoran DNS 记录也就一行一行的，不会台复杂，直接自己按行读取解析下就好了，又不是未知结构。

[814084764]

类似于 SAX 读取 XML 的方式？？？ DOM 方式肯定不行了。

JDK 提供的 XML 解析方式分为两种：DOM 方式和 SAX 方式
DOM：Document Object Model。需要读取整个 XML 文档，先需要在内存中构架代表整个 DOM 树的 Document 对象，可以进行随机访问. 需要考虑内存.适合增删改
SAX：Simple API for XML。采用事件驱动的方式解析 XML 文件，边读边对文档进行处理.适合读取

[bfpiaoran]

读出来了 很普通的格式 我去想怎么处理啦 谢谢~~~
with open("file_name",'r') as file：
for line in file:
pass
这样读都是秒读的