快捷導(dǎo)航

Java多線程導(dǎo)致CPU占用100%解決及線程池正確關(guān)閉方式

更新時(shí)間：2021年05月27日 09:39:58 作者：levi125

1000萬表數(shù)據(jù)導(dǎo)入內(nèi)存數(shù)據(jù)庫，按分頁大小10000查詢，多線程，15條線程跑，最后發(fā)現(xiàn)CPU占用100%卡死，那么如何解決，本文就來介紹一下，感興趣的朋友可以了解一下

簡介

情景：1000萬表數(shù)據(jù)導(dǎo)入內(nèi)存數(shù)據(jù)庫，按分頁大小10000查詢，多線程，15條線程跑。
使用了ExecutorService executor = Executors.newFixedThreadPool(15)
本地跑了一段時(shí)間后，發(fā)現(xiàn)電腦CPU逐漸升高，最后CPU占用100%卡死，內(nèi)存使用也高達(dá)80%。

排查問題

Debug 發(fā)現(xiàn)雖然創(chuàng)建了定長15的線程池，但是因?yàn)閿?shù)據(jù)量大，在For中循環(huán)分頁查詢的List會持續(xù)加入LinkedBlockingQueue()
隊(duì)列中每一個(gè)等待的任務(wù)，又加載了1萬的數(shù)據(jù)。所以不管是線程數(shù)的CPU搶占，還是內(nèi)存的消耗都是極高。
所以是不是能夠控制等待隊(duì)列LinkedBlockingQueue的上限就可以了。

解決辦法

使用AtomicLong 統(tǒng)計(jì)線程是否完成，再執(zhí)行executor.submit()提交新的任務(wù)導(dǎo)隊(duì)列中。
偽代碼如下：

private AtomicLong threadNum = new AtomicLong(0);

public void init() throws Exception {
	ExecutorService executor = Executors.newFixedThreadPool(15);

	Integer total = accountMapper.selectCount(new QueryWrapper<>());
	Integer pageSize = 10000;  // 頁大小
	Integer pageCount = (total + pageSize -1) / pageSize; // 總頁數(shù)

	for (Integer start = 1; start <= pageCount; start++) {

		List<Account> list = accountMapper.selectPage(new Page<>(start, pageSize), query).getRecords();

		//等待線程任務(wù)完成，設(shè)置30，可令運(yùn)行線程數(shù)為15，等待隊(duì)列線程數(shù)為15
		while (threadNum.get() >= 30){
			Thread.sleep(5000);
		}

		//開啟1個(gè)線程+1
		threadNum.incrementAndGet();
	
		executor.submit(() -> {

			try {
				// 處理業(yè)務(wù)
				dealMessage(list);
				// 任務(wù)完成 -1
				threadNum.decrementAndGet();
			} catch (Exception e) {
				e.printStackTrace();
			}

		});

	}
        executor.shutdown();
        executor.awaitTermination(1, TimeUnit.DAYS);

}

效果就是CPU保持在15~45%之間，內(nèi)存占用也只有45%。

目前只想到這樣的方式，控制等待隊(duì)列LinkedBlockingQueue的上限，還有更好的方式請告知，感謝！

2021-02-03-分割線
最近又用到了多線程開發(fā)，發(fā)現(xiàn)了還是有很多方式控制的。簡單的使用java的Semaphore令牌限流控制也能實(shí)現(xiàn)。

多線程：

線程池必須關(guān)閉，main主線程才能結(jié)束（接口才會返回）finally { executorService.shutdown(); }
主線程等待保證多線程所有子線程任務(wù)執(zhí)行完畢，再結(jié)束。 -> executorService.awaitTermination(1, TimeUnit.DAYS);
semaphore 令牌限流控制fixedThread線程池，本例子就是最多同時(shí)擁有2個(gè)線程進(jìn)行工作
fixedThread.execute() fixedThread.submit() 的差別除了后者可以返回結(jié)果外，后者還會catch掉異常信息，無法拋到主線程中。

public static void main(String[] args) {
    final List<String> tableNames = new ArrayList<>();
    tableNames.add("a");
    tableNames.add("b");
    tableNames.add("c");
    tableNames.add("d");
    tableNames.add("e");
    tableNames.add("f");

    final Semaphore semaphore = new Semaphore(2);
    final ExecutorService fixedThread = Executors.newCachedThreadPool();
    for (final String tableName : tableNames) {
        //阻塞，獲取令牌
        try {
            semaphore.acquire();
        } catch (InterruptedException e) {
            e.printStackTrace();
        }
        //do
        fixedThread.execute(() -> {  //can throw ex log
            final ExecutorService executorService = Executors.newCachedThreadPool();
            try {
                executorService.submit(() -> { //can't throw ex log
                    //int i = 1/0;
                    System.out.println("tableName2:" + tableName);
                });
                //int i = 1/0;
                System.out.println("tableName:" + tableName);
            } catch (Exception e) {
                e.printStackTrace();
            } finally {
                executorService.shutdown();
                try {
                    executorService.awaitTermination(1, TimeUnit.DAYS);
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                semaphore.release();
                System.out.println("semaphore.release");
            }
        });
    }
    // 記得關(guān)閉線程池
    fixedThread.shutdown();
    try {
        fixedThread.awaitTermination(1, TimeUnit.DAYS);
    } catch (InterruptedException e) {
        e.printStackTrace();
    }
    System.out.println("主線程...");
}

打印結(jié)果

tableName:b
tableName2:b
tableName:a
tableName2:a
semaphore.release
semaphore.release
tableName:d
tableName2:d
tableName:c
semaphore.release
tableName:e
tableName2:c
semaphore.release
tableName:f
tableName2:e
semaphore.release
tableName2:f
semaphore.release
主線程...