java線程池合理設置最大線程數和核心線程數方式

更新時間：2021年12月28日 15:59:26 作者：李振偉

這篇文章主要介紹了java線程池合理設置最大線程數和核心線程數方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教

線程池合理設置最大線程數和核心線程數

工作中有這樣一個場景，需要處理千萬級別的數據的一個算法，大部分是增刪查的操作。這個時候就需要使用多線程去處理。

一開始是這么配置的

@Configuration
@EnableAsync(proxyTargetClass = true)//利用@EnableAsync注解開啟異步任務支持
@ComponentScan({"com.ctfojt.auditbcarslogo.service"}) //必須加此注解掃描包
public class ThreadPoolConfig implements AsyncConfigurer {
    @Override
    public Executor getAsyncExecutor() {
        ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
        taskExecutor.setCorePoolSize(10);//核心線程大小
        taskExecutor.setMaxPoolSize(20);//最大線程大小
        taskExecutor.setQueueCapacity(500);//隊列最大容量
        //當提交的任務個數大于QueueCapacity，就需要設置該參數，但spring提供的都不太滿足業(yè)務場景，可以自定義一個，也可以注意不要超過QueueCapacity即可
        taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        taskExecutor.setAwaitTerminationSeconds(10);
        taskExecutor.setThreadNamePrefix("BCarLogo-Thread-");
        taskExecutor.initialize();
        return taskExecutor;
    }
}

這樣配置效率很低，一天大概能處理30多萬的數據。往后隨著插入表的數據越來越多，處理速度也隨之降低，跑個一兩天之后，差不多能夠處理10萬多。完全滿足不了需求。

后來網上查詢線程池核心數配置

大部分都是這樣的：

注：IO密集型（某大廠實踐經驗）核心線程數 = CPU核數 / （1-阻塞系數）或著 CPU密集型：核心線程數 = CPU核數 + 1 IO密集型：核心線程數 = CPU核數 * 2

也嘗試著這么配置，結果發(fā)現(xiàn)效率并不理想，提高不了多少。

最后我是這么配置的

結果效率大大提升，僅用不到一天的數據，就跑完了千萬級的數據。

//獲取當前機器的核數
public static final int cpuNum = Runtime.getRuntime().availableProcessors();
@Override
    public Executor getAsyncExecutor() {
        ThreadPoolTaskExecutor taskExecutor = new ThreadPoolTaskExecutor();
        taskExecutor.setCorePoolSize(cpuNum);//核心線程大小
        taskExecutor.setMaxPoolSize(cpuNum * 2);//最大線程大小
        taskExecutor.setQueueCapacity(500);//隊列最大容量
        //當提交的任務個數大于QueueCapacity，就需要設置該參數，但spring提供的都不太滿足業(yè)務場景，可以自定義一個，也可以注意不要超過QueueCapacity即可
        taskExecutor.setRejectedExecutionHandler(new ThreadPoolExecutor.CallerRunsPolicy());
        taskExecutor.setWaitForTasksToCompleteOnShutdown(true);
        taskExecutor.setAwaitTerminationSeconds(60);
        taskExecutor.setThreadNamePrefix("BCarLogo-Thread-");
        taskExecutor.initialize();
        return taskExecutor;
    }

完美的解決了問題！

線程池核心線程數與最大線程數的區(qū)別

線程池策略

corePoolSize：核心線程數；maximunPoolSize：最大線程數

每當有新的任務到線程池時，

第一步：先判斷線程池中當前線程數量是否達到了corePoolSize，若未達到，則新建線程運行此任務，且任務結束后將該線程保留在線程池中，不做銷毀處理，若當前線程數量已達到corePoolSize，則進入下一步；
第二步：判斷工作隊列(workQueue)是否已滿，未滿則將新的任務提交到工作隊列中，滿了則進入下一步；
第三步：判斷線程池中的線程數量是否達到了maxumunPoolSize，如果未達到，則新建一個工作線程來執(zhí)行這個任務，如果達到了則使用飽和策略來處理這個任務。注意：在線程池中的線程數量超過corePoolSize時，每當有線程的空閑時間超過了keepAliveTime，這個線程就會被終止。直到線程池中線程的數量不大于corePoolSize為止。

（由第三步可知，在一般情況下，Java線程池中會長期保持corePoolSize個線程。）