Python 如何高效地将 JSON 反序列化为对象

[mimzy]

现在通过 API 获取的 JSON，我一般先用 HTTPX 的 .json() 方法转换为 Python 内置数据结构，然后用 Pydantic 的 parse_obj_as() 转化为对象（因为 parse_obj_as() 可以很方便地转换 list ），便于使用 type hints 。

目前的链路是这样的：str -> dict/list -> Pydantic object，有点冗余，而且当 JSON 体积大到一定程度的时候，第二步比第一步慢一个数量级，已经无法接受。所以想了解下，有没有其他高效地将 JSON 反序列化为对象的方法？

[abersheeran]

@mimzy 虽然我也是 pydantic 的重度使用者。

[SystemLight]

我感觉 marshmallow 这个库还挺好用的 https://github.com/marshmallow-code/marshmallow

[Wicked]

你要多快？找个 rapid json 之类的库自己封装一下？

[mimzy]

@abersheeran #20 虚假宣传哈哈哈~确实，像我现在用 FastAPI 有时候觉得还挺怀念 Django 的，啥速度不速度的，再快也超不过 Starlette 天花板，现成的工具又少…

[abersheeran]

@mimzy fastapi 速度还没 aiohttp 快呢。它的性能全靠吹。

[misaka19000]

我们用的 ujson，用了好几年了，效果挺好

[wangyzj]

大到一定体积是多大？

[williamfzc]

一样的问题，我们的需求是 xml -> json -> pydantic object，小文件完全 ok，文件变大之后问题会越来越明显，无论是速度跟内存占用都很爆表。前面的文本处理效率还能接受

之所以要用 python 主要是一些包调起来方便，现在已经准备慢慢用 java 重写了。。

@wangyzj 20M 左右就已经慢到不能接受了~