JDK11 的新 HTTP client API 搭配线程池把我的电脑搞挂了

1.创建线程池

final ThreadPoolExecutor threadPoolExecutor = (ThreadPoolExecutor) Executors.newFixedThreadPool(5);

2.创建 http 请求

var builder = HttpRequest.newBuilder()
                .uri(URI.create(uri));
HttpRequest request =
                    builder.POST(HttpRequest.BodyPublishers.ofString(body, StandardCharsets.UTF_8)).build();
//发送请求
HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString());

3.创建任务，丢给线程池

List<CompletableFuture<?>> futures = new ArrayList<>();
        for (User user : Users) {
            CompletableFuture<?> future = CompletableFuture.runAsync(() -> {
                  用上面的 http 请求
            }, threadPoolExecutor);

            futures.add(future);
        }

        //等待所有任务完成
        final int taskCount = futures.size();
        CompletableFuture<?> allFuture = CompletableFuture.allOf((futures.toArray(new CompletableFuture[taskCount])));
        allFuture.join();

        //关闭线程池
        threadPoolExecutor.shutdown();

4.User 数是 2000 多，也就是任务数才 2000 多，就把我系统资源爆了，提示不能再继续创建 thread 了，我的 macOS 直接黑屏重启

我寻思我创建的线程池才 5 个，不至于让我的系统挂了吧？那元凶可能是 http 新的 client api 自己再私自创建大量线程，直到耗尽系统的线程资源数？有无大佬指教一下怎么优化？我就想我请求只限制在 5 个线程以内

123zouwen

2021-09-10 11:38:56 +08:00

用之前至少先翻看一下 api 和源码吧

构建 HttpClient 的时候可以传入 Executor,查看源码没有传入会有一个默认的 Executors.newCachedThreadPool(new DefaultThreadFactory(id)

而且 jdk11 新的 HTTP client API 本身就可以发异步请求返回 CompletableFuture
一个 java11 httpclient 例子你简单看一下,
https://github.com/app2smile/java11-HttpClient-Util/blob/main/JdkHttpClientUtil.java

ikas

2021-09-10 13:20:19 +08:00

1.你这个 httpclient 根本就没有用你配置的 threadPoolExecutor ....
你只是自己写了一个异步
,CompletableFuture.runAsync(() -> {
用上面的 http 请求
}, threadPoolExecutor);
,你应该直接用 httpclient 内置的 async 方法,同时给其配置线程池

2.你这么多请求全部等待...内存肯定耗尽了..所以 httpclient 内部也没有办法创建进程了..
3.内存崩了系统挂了..那么应该是系统问题....