请问这个代码怎么写能让他跑得更快

[zxCoder]

with open("corpus.jsonl","r") as rd:
    for line in tqdm(rd.readlines()):
        line=line.strip()
        obj=json.loads(line)
        _id=obj["id"]
        id2ent[_id]=obj

这个代码怎么写能让他跑得更快

[yucongo]

试试这个 https://pastebin.ubuntu.com/p/5rWbN3MnrT/
自然要将 count 改成 id2ent 的赋值……

文件大的话应该可以提速（内核个数-1 ）倍的样子

[passerby233]

for line in rd:
line = line.strip('\n')

[killva4624]

readlines 会一次性把所有行读进去，换逐行读取。

[zxCoder]

@killva4624 全读内存里不是会更快吗

[HashV2]

@zxCoder #4 逐行读也会到内存里的，一次加载所有的数据会有 io 问题，如果行与行之间不存在关联逻辑，逐行更好一些

[LindsayZhou]

如果性能瓶颈在 json 解析的话，用 ujson: https://github.com/ultrajson/ultrajson
看 fastapi 的时候找到的库。

[renmu123]

起多进程，然后内容平分给每个进程来处理