请问大家, 有没有办法把 Python 的 dict, 存储到一段连续内存上

[wcsjtu]

比如说, 我这里有个

table: Dict[str, List[str]] = {
	"key1": ["value1", "value2", ...],
    ...,
    "keyn": ["valuem", ...]
}

我想把这个 dict 中的所有对象(包括所有的 key, value, 以及 list), 全部存储到一段连续内存里, 同时还能支持查表操作, 比如说

values: List[str] = table_in_contigious_memory["key1"]

有没有现成的轮子可以做这种事啊。

PS: 可以不是 Python 原生的 Dict, 只要是 dict-like, 支持查表就行.....

[daxin945]

lmdb ？

[liuxingdeyu]

为啥要连续内存的 dict

[wcsjtu]

@lysS 因为可以扔到共享内存里， 多个进程可以共享一份词表。

[wcsjtu]

@ipwx 确实是是内存放不下， 单个表大概占 3G 的内存。 这个表确实是只读的。我之前用的就是 fork ， 但是 fork 不管用， 对于 Python 来说，由于每次 read 都会改引用计数，所以是 copy-on-read .....

[wcsjtu]

@zyx199199 我还没深入去了解这两个库， 但是根据我理解，这两个库，都是要序列化的......性能不行啊

[ipwx]

@wcsjtu 在我的经验中不是这样的啊，os.fork 我确实用的很舒服。

要么你试试 numpy.ndarray 能不能 fork 共享。

[wcsjtu]

@ipwx np.ndarray 是可以的， 但是有两个问题

- np 存字符串太浪费内存了......
- np 没办法存 dict

[TimePPT]

你这是基于啥需求啊……

[wcsjtu]

@TimePPT 想把 Python 的大 dict 存到共享内存里， 节约内存。。。。。

[786375312123]

https://docs.python.org/3/library/multiprocessing.shared_memory.html

[786375312123]

@wcsjtu 为了节约内存你用 python ？你是不是队 python 有什么误解？

[maggch97]

我发现很多奇葩需求，原因都是开发人员只懂 a ，导致有了问题 b ，最终想用一个非常奇葩的 c 方法来解决。

[maggch97]

你都用 dict 了，逻辑必然不复杂，全都用 c++写这段逻辑不行吗，最终把封装好的查询接口暴露出去。

看到你上面在纠结序列化速度的问题，除非你暴露给用户的接口就是裸的 dict 查询，否则返回结果的那点序列化时间根本无足轻重。如果是暴露 dict 接口，那查询时间本来就无所谓了，你反正都要走网络或者 rpc 等等协议

[listenerri]

要不试试 zeromq 和它所支持的 ipc 进程间通讯，这样 dict 不用暴露给其他进程，本机跨进程通讯所传输的数据几乎只有一个字符串 key ，想来效率还是可以的

[VYSE]

https://github.com/Tencent/MMKV/wiki/python_setup

[DonDonc]

@maggch97 So called [XY Problem]( https://en.wikipedia.org/wiki/XY_problem)

[listenerri]

@VYSE #35 楼主期望避免序列化

[Muniesa]

numpy 的 Structured arrays ？

[xuelu520]

那有没有一种可能，现在内存这么便宜，直接加内存呢？

[sivacohan]

sqlite memory 表？