有一个很大的 json 文件，要如何才能将它读到内存中呢， 4 个多 G

[RicardoScofileld]

尝试用 pickle.loads 读到内存，直接内存溢出了，试着用 pandas.read_json()读取，但是报错，Excepted object or value 黔驴技穷，不知道该咋弄了

[opengps]

要不你试试用工具把内存映射成硬盘，然后当作硬盘读写？
不过貌似没有长期免费的内存映射硬盘工具

[purebluesong]

怎么写的怎么读吧，python 的 loads 会在内存中占用成 10 倍磁盘空间的大小。
不过如果 Expected object or value 的话应该这个文件本身就有问题了，说不定因为文件大小限制而被截断了

[Luckyray]

这么大还用 json 不太合适吧……

[likuku]

某些数据库已经支持 Json 数据类型了，先塞进去，Py 再去读 DB 呢？

[zynlp]

加内存，就是这么直接

[janxin]

才 4 个 G 不会爆内存的吧...你内存不够了？

[ho121]

自己写个 json 解释器，支持流式读取

[twor2]

开一个临时的大内存云服务器

[lesteryu]

pip install ijson

[Bramblex2]

你这 json 什么结构啊…如果层数深还是长度长？

[maxco292]

Memory-mapped file
https://docs.python.org/3.0/library/mmap.html

[iwtbauh]

@opengps Linux 自带 mount -t tmpfs 了解一下，内存文件系统，比内存盘还要高效

[shilyx]

将你的需求映射为数据接口由 c++来处理，C++用 rapidjson 来读取

rapidjson 如果还是不行，就用 c++写一个针对文件的、有限功能的 json 库

如果自己搞不定，就外包

[iwtbauh]

使用 64 位处理器，64 位操作系统和 64 位 Python 尝试

从理论上讲，64 位进程的虚拟内存可以高达 EB 级别（ 32 位进程的虚拟内存通常只有 2GB 或 3GB，不可能超过 4GB ）

[scriptB0y]

建议使用 less 这种文本阅读工具看一下内容，然后根据内容用代码一部分一部分的读然后切成小文件，应该是比较快的方法。

[lihongjie0209]

为什么不先导入到数据库

[graysheeep]

搞策略交易么

[est]

#9 楼 @lesteryu 回复正解。迭代式解析 json 即可。内存绝对不会爆炸。

[RicardoScofileld]

@opengps 没接触过这种工具，推荐一个谢谢啦

[RicardoScofileld]

@purebluesong 你说为啥 load 的时候，会达到文件本身 10 倍的内存占用呢，是因为 Python 的数据类型导致的吗