V2EX › sordidclown 的所有回复 › 第 2 页 / 共 2 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2

❮

❯

2023 年 7 月 18 日

回复了 JustBecause 创建的主题 › Python › Python 如何优化简单代码的多进程速度

我再提供一个思路，比如说将“读写文件”和“实际处理处理”分离成两个函数，一个作为 IO 密集函数，一个作为 CPU 密集函数。IO 密集的部分使用线程或者协程处理，CPU 密集的部分采用多线程处理。这两部分可以使用管道或者队列通信。

2023 年 7 月 18 日

回复了 JustBecause 创建的主题 › Python › Python 如何优化简单代码的多进程速度

Python 新手，猜一下可能是任务太轻量了？ Windows 上没有 `fork`，默认是 `spawn` 这种重量级的构建方式。鉴于 MacOS 上使用 `fork` 能降低执行时间。所以可能任务执行的时间还没有构建新进程的时间长，也就是“构建新进程”所占时间的比重较大。
我觉得如果要减少执行时间，又要多进程，你可以试着限制进程池的大小。或者说任务比较多的时候再开多进程，这样能有效减少构建新进程占用的时间。
PS：网上搜了点资料猜的，大佬们轻喷。

1 2

❮

❯