有一个很大的 json 文件，要如何才能将它读到内存中呢， 4 个多 G

[RicardoScofileld]

尝试用 pickle.loads 读到内存，直接内存溢出了，试着用 pandas.read_json()读取，但是报错，Excepted object or value 黔驴技穷，不知道该咋弄了

[crist]

请装 16G 的内存，谢谢。

[focusheart]

嗯，看了补充内容，标题有歧义。
标题的一般理解是有个 4G 多的 xxx.json 的纯文本文件。
而实际上是一个 pickle dump 出来的对象文件比如 xxx.pkl 。
显然用 pd.read_json() 是无法读取这个 xxx.pkl 的，也不用考虑流式之类的问题。

这样几种方法解决：
1. 如#41 所说，加内存，简单有效省事。
2. 用 json 的话，重新用 json.dump() 搞一个纯文本的 xxx.json。纯文本怎么都好办。
3. pickle 并不适合搞大对象的保存。换个库来做对象序列化，marsahl 好一些，但是要注意 python 版本。

[diggerdu]

临时加个 swapfile

[aimiyooo]

4 个 G 数据，加载到内存可远远不止 4G

[exhades]

加内存咯....不过全部加载到内存干什么.....

[qwertyegg]

NoSQL

[feiffy]

如果都是条数多，嵌套层数少，相同元素多，可以流式读取文件，generator 处理啊

[RicardoScofileld]

@jyf 额 是我的描述出了点问题，pickle.dump 是异于 json.dump 的，是一个超大的字典，dump 出去有 4 个多 G，但是 load 的时候内存占用成倍的增长，直接溢出

[RicardoScofileld]

@crist 文件达到将近 5 个 G 的时候，32G 内存服务器偶尔会崩。。。。

[RicardoScofileld]

@focusheart 是啊，我原以为这两个库作用是相同的，查阅资料的时候才发现是有区别的，误导了大家了，尴尬

[RicardoScofileld]

@diggerdu 谢谢，我去了解一下

[RicardoScofileld]

@aimiyooo 是啊，pickle dump 出去只有 4 个 G，load 进来的时候却成倍的增长，是不是因为数据结构的原因呢

[RicardoScofileld]

@exhades 是经过处理计算的一个字典，为了减少下次运算时间，所以打算用空间换取时间，dump 出一个中间临时文件，到时候直接 load 进来的

[RicardoScofileld]

@qwertyegg 如果用 nosql，我想了一下，对于 redis，貌似只能用 hash 类型，但是这个字典里面有嵌套，要保存的话，还是需要序列化

[lfzyx]

大多数应用程序都必须检索整个对象，然后仅过滤出所需数据以进行进一步分析。借助 S3 Select，应用程序可以将过滤和访问对象内部数据的繁重工作卸载到 Amazon S3 服务。

https://aws.amazon.com/cn/about-aws/whats-new/2018/04/amazon-s3-select-is-now-generally-available/?nc1=f_ls

[ofooo]

你老大 32G 内存，你就和你老大说一下不就完了吗。需求不合理就提。

[liangeeks]

这么大，知道数据结构的话慢慢读，不用一次性 load 啊

[RicardoScofileld]

@liangeeks pickle dump 出去的，怎么慢慢读呢

[cctv1005s927]

自己搞一个数据结构存放文件吧，json 的文件是有深度的，有些时候不读取完毕很难读取到一个 object 的内容。

[beforeuwait]

用 生成器呀