世纪难题: Java 线程池 ThreadPoolTaskExecutor corePoolSize 等参数最优解?

2019-04-24 22:57:43 +08:00
 maitiantuzi

一个物联网应用的典型场景,接收遥测数据然后解析并做业务处理。吞吐量不固定,但是要求稳定。

我的测试环境:

操作系统:Mac OS; 2.7 GHz Intel Core i5; 内存 8g

Kafka:2.x 版本

Spring boot:2.0.3

Kafka 配置:1 个 topic,4 个 partition

Producer 模拟发送 1000 条消息,耗时 500 毫秒左右。

Consumer 批量接收( MAX_POLL_RECORDS_CONFIG = 50 )后,进入一个注解为 @Async 的方法并处理业务逻辑,每次业务逻辑耗时 80 ~ 100 毫秒,

我想测试一下线程池的最优配置,正规测试流程是什么?想知道大家是怎么玩的。

注:

以下是我的部分测试结果(感觉有出入):

corePoolSize:80
maxPoolSize:100
queueCapacity:1500
消费 1000 条耗时:11s

corePoolSize:8
maxPoolSize:10
queueCapacity:1500
消费 1000 条耗时:15s

corePoolSize:8
maxPoolSize:20
queueCapacity:1500
消费 1000 条耗时:13s
3488 次点击
所在节点    问与答
1 条回复
alcarl
2019-04-25 06:24:12 +08:00
要先考虑你的业务逻辑的瓶颈在哪,然后再来说线程池如何配置。从你的测试结果看,线程数增加速度提升不明显,所以这怎么配池子也差不了太多,完全不是问题,问题是瓶颈在哪,如何搞定他。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/558409

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX