Python 线程池有办法自动释放不在使用中的资源吗?

2020-12-27 16:37:51 +08:00
 black11black
# 一个简单的 demo
def some_func(arg):
    # does some heavy lifting
    # outputs some results
    time.sleep(10)
    return 0

from concurrent.futures import ThreadPoolExecutor
import time

with ThreadPoolExecutor(max_workers = 1024) as executor:
    for arg in range(10000):
        future = executor.submit(some_func, arg)
    print(len(executor._threads))

简单做了下压力测试,发现 windows 系统上的 python 线程并发负载还可以,一两千个线程还是能 handle 的。

但是发现了一个蛋疼的问题,比如如果你要提高负载能力,比如你想要让程序能同时负载 1000 个并发连接。那么线程池在触发并完成线程后,并不会自动释放资源。我原以为线程池有一些机制在,比如一小时闲置的话就会自动摧毁占用的线程,现在看来似乎不是这样的,一旦申请以后线程就一直在这里了。

有什么办法做改进吗?这些线程即使不用也在这里趴着,一方面吃内存,另一方面系统允许的最大线程数又是有限的,被大量占用。

1103 次点击
所在节点    问与答
4 条回复
wellsc
2020-12-27 16:39:45 +08:00
gil 的语言就别整天折腾多线程了,io 密集上协程,计算密集换技术栈
black11black
2020-12-27 16:50:16 +08:00
@wellsc 这次折腾多线程的原因是,在用多线程封装一个同步 oracle 库,让他能在协程中使用。我肯定没时间再仔细用协程实现一个通讯协议,直接用多线程封装同步库是个很好的办法。只不过似乎并发能力和内存 /线程数似乎无法平衡。
black11black
2020-12-27 16:53:05 +08:00
@black11black 同步执行一千条插入命令(比如业务上让他们没法被整合到同一条插入命令),这种需求我觉得还是挺常见的。但是如果要实现的话就要开 1000 个线程准备着,这也太蠢了,没办法用的时候现场申请吗。
delectate
2020-12-27 19:27:19 +08:00
协程,或者多进程。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/739399

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX