Java 执行大量长耗时接口,怎么使用单机处理

[layxy]

目前使用的线程池,但是因为任务量太大,单机线程池和队列很快就满了,因为某些原因只能使用一台机器,有什么办法可以优化下

[xiangyuecn]

@hhjswf #18 直接加大核心线程数，不就等同于说明了最大线程数没卵用😂

目前我就是这样做的，核心线程数 等于 最大线程数，通过设置 allowCoreThreadTimeOut(true)去掉核心线程这个概念，每个线程都是普通的，超时没有任务了线程就被回收，充分利用机器性能，其实也就等于说明了最大线程数没有卵用

[xiangyuecn]

比如 核心线程数 等于 最大线程数 等于 100 个线程，核心线程空闲 5 秒关闭，队列给到 200 个容量

假如大部分时候只需要 20 个线程工作就够了，偶尔会有 200 个突发任务

那么一直会开启的可能就是 20 个左右的线程，突发的 80 个任务会开启新的线程处理，线程满了，多余的 100 个任务会被加入队列
-------

如果按照默认的逻辑，就算给到平常一倍核心线程数：40 个核心线程，200 个容量队列，100 个最大线程

200 个突发任务工作是不正常的：只会有 40 个线程同时工作，160 个被加入队列，因为队列没有满，不会开启新线程！
100 个最大线程成了摆设，队列卡在这个位置比较尴尬。

[wxxxcxx]

异步编程应该很适合，不知道 java 有没有好用的库

[Red998]

主要还是优化接口耗时问题、 从这方面入手。异步治标不治本，异

[janus77]

如果你线程池都满了，那物理配置不加的话也没法再有很大的提升
我的建议是换语言

[byte10]

你的任务是 是什么任务啊，也没说清楚，是计算型的，还是 IO 密集型的？你的任务是要循环读取 mysql 数据进行处理吗？计算密集型，只能物理解决或者优化计算的算法。IO 密集型 加线程，4 核心 500 个线程都没问题。

[layxy]

@kaneg 公司目前最高只让用 11,而且虚拟线程现在还没 release,还要升级到至少 java19,这个方案行不通

[layxy]

@byte10 IO 密集型,排查了下,耗时集中在 es 查询

[layxy]

@janus77 线程池满了,但是 cpu 占用不高,后续再加线程池大小再看看,最终的话引入 mq 应该是最好的,但是这个不好推进

[byte10]

@layxy ES 支持异步的，你选一个 ReactiveElasticsearchTemplate 客户端 , 这样就不需要多线程了。不过你要注意的是 Reactive 通常会有背压问题，需要判断 ES 服务器能否抗住，扛不住就注意要限流，不然会导致 es 挂掉。

[zzw66681]

单机可以换一下 disruptor