Python 内存占用也太大了。

[skinny]

我现有 5 个 collections.Counter 的 pickle 文件，单个文件在 84MB-240MB 之间，总共 664MB，总记录在 3 千多万，实际数据大小也就 400MB 左右。之所以分为 5 个文件是因为之前有几个 GB 的数据，我电脑内存小（ 6GB ），又是机械硬盘，根本没办法一下子读取和处理，我分割成小块处理，最后变成了这 5 个文件，然后我想合并这些文件进行最后处理。

最终合并前，我预估过用 C 实现类似的字典（ D[char[10],uint]）合并，内存用的不会很多，即便是最粗糙的字典实现也只需要 680M 左右内存，我看 pickle 文件加起来才 664MB，就算翻 4 翻的内存占用机器也撑得住，可是一运行内存就被耗光，然后机器死机了，只能强制关机，根据死机前的 Python 占用情况，最终可能需要内存要 6GB-8GB 才能加载处理总共 664M 的这 5 个 pickle 文件。（只有 load 和 plus 操作）

可能有人会问我为什么不用 Redis 或者数据库查询，因为我没安装，我也就这一次需要以这种方式处理这种文件。前面用 Python 处理单个小文件时还好，虽然速度不敢恭维，不过还能接受，胜在写起来简单方便。

目前对 Python 感受就是慢、吃内存，但是写起来简单（当然也有非常复杂的，比如 asynio ），真的是胶水一样的语言。

[zhengxiaowai]

没懂、、、

[LokiSharp]

这种情况用 C 写扩展啊。。。。

[zk8802]

用 PyPy 试试。

[shyling]

别用 pickle

[simonliu2018]

从磁盘文件 load 到内存里体积都会变大，换做其他序列化方式也是这样，这不是 python 特有的。

换个角度思考这个问题，各种资源总是有限的，工程师要做的就是在各种资源受限的情况下把事情搞定。

[Rehtt]

用 golang

[songdg]

试一下 pytable。

[ltoddy]

去看看 linecache. 还有遇到大的东西,尽量用增量的方式去解决.

[xiaoheijw]

pickle 是对象序列化，当然吃内存了，大文件建议用 hdf5。

[kios]

@xiaoheijw 赞同！

[skinny]

@shyling
@xiaoheijw

我写的一次性处理脚本，以前处理的都是以行或块为单位的，这次第一次处理全部都需要载入处理的，看文件不大，就用了标准库，没想到内存占用大得离谱。

[skinny]

@simonliu2018
@LokiSharp

知道会内存使用会变得多，没想到的是会这么多，差不多是实际数据的十几倍，预估错了所以没有用 C。

[UN2758]

文本反序列化一般 10 倍内存起步吧，python 而言

[lihongjie0209]

sqlite 不需要安装吧, 可以试一下

[est]

明明是自己不会用 pickle 非得用 pickle。怪到一个语言上？

[lihongjie0209]

要不这样, 你发一个测试文件出来, 大家一起用 python 标准库写一遍, 看看能不能在你的硬件条件下实现你的需求, 光说不做测试没意义

[skinny]

@lihongjie0209 用了，太慢了。

[dychenyi]

mmap 了解一下，磁盘映射读取

[skinny]

@est 你这人真是莫名其妙，我从来就没说 pickle 什么事，我只说了 Python 对象内存占用多，对象 load 以后是 Counter 对象，你是不是还要说我不会用 Counter ？ Counter 是 dict 子类，是不是还要说我不会用 dict ？ dict 里存了太多文本是不是还得说我不会用 str ？

[sunnyadamm]

with open() as f 了解一下