Mybatis-plus 批量插入太慢的問題解決(提升插入性能)

更新時(shí)間：2021年11月09日 10:47:23 作者：Crystalqy

公司使用的Mybatis-Plus操作SQL,用過Mybatis-Plus的小伙伴一定知道他有很多API提供給我們使用，但是批量插入大數(shù)據(jù)太慢應(yīng)該怎么解決，本文就詳細(xì)的介紹一下，感興趣的可以了解一下

MyBatis-Plus（簡(jiǎn)稱MP）是一個(gè)MyBatis的增強(qiáng)工具,旨在MyBatis的基礎(chǔ)上只做增強(qiáng)不做改變,為簡(jiǎn)化開發(fā)、提高效率而生。

特點(diǎn)

無侵入：只做增強(qiáng)不做改變，引入它不會(huì)對(duì)現(xiàn)有工程產(chǎn)生影響，如絲般順滑

損耗?。?jiǎn)?dòng)即會(huì)自動(dòng)注入基本 CURD，性能基本無損耗，直接面向?qū)ο蟛僮?/p>

強(qiáng)大的 CRUD 操作：內(nèi)置通用 Mapper、通用 Service，僅僅通過少量配置即可實(shí)現(xiàn)單表大部分 CRUD 操作，更有強(qiáng)大的條件構(gòu)造器，滿足各類使用需求

支持 Lambda 形式調(diào)用：通過 Lambda 表達(dá)式，方便的編寫各類查詢條件，無需再擔(dān)心字段寫錯(cuò)

支持主鍵自動(dòng)生成：支持多達(dá) 4 種主鍵策略（內(nèi)含分布式唯一 ID 生成器 - Sequence），可自由配置，完美解決主鍵問題

支持 ActiveRecord 模式：支持 ActiveRecord 形式調(diào)用，實(shí)體類只需繼承 Model 類即可進(jìn)行強(qiáng)大的 CRUD 操作

支持自定義全局通用操作：支持全局通用方法注入（ Write once, use anywhere ）

內(nèi)置代碼生成器：采用代碼或者 Maven 插件可快速生成 Mapper 、 Model 、 Service 、 Controller 層代碼，支持模板引擎，更有超多自定義配置等您來使用

內(nèi)置分頁插件：基于 MyBatis 物理分頁，開發(fā)者無需關(guān)心具體操作，配置好插件之后，寫分頁等同于普通 List 查詢

分頁插件支持多種數(shù)據(jù)庫：支持 MySQL、MariaDB、Oracle、DB2、H2、HSQL、SQLite、Postgre、SQLServer 等多種數(shù)據(jù)庫

內(nèi)置性能分析插件：可輸出 Sql 語句以及其執(zhí)行時(shí)間，建議開發(fā)測(cè)試時(shí)啟用該功能，能快速揪出慢查詢

內(nèi)置全局?jǐn)r截插件：提供全表 delete 、 update 操作智能分析阻斷，也可自定義攔截規(guī)則，預(yù)防誤操作

MP功能強(qiáng)大，但是上線后發(fā)現(xiàn)有一個(gè)問題，他內(nèi)置的saveBatch批量插入功能有著巨大的隱患，查看源碼發(fā)現(xiàn)他是這么實(shí)現(xiàn)的

其中關(guān)鍵的方法executeBatch源碼為：

啟動(dòng)服務(wù)后,用Postman調(diào)試,后臺(tái)打印如下:

從圖上可以看出這個(gè)所謂的批量插入接口,其實(shí)就是一個(gè)for循環(huán)插入，所以會(huì)對(duì)數(shù)據(jù)庫產(chǎn)生很大的壓力，第一反應(yīng)是手工實(shí)現(xiàn)，這樣

INSERT INTO test (a, b, c) VALUES
<foreach collection="list" item="item" separator=",">
    (#{item.a}, #{item.b}, #{item.c})
</foreach>

但是仔細(xì)閱讀源碼發(fā)現(xiàn)，他的CRUD方法其實(shí)都是實(shí)現(xiàn)了一個(gè)叫做AbstractMethod的類的，類繼承如圖

其中我們看到有一個(gè)方法是InsertBatchSomeColumn，這個(gè)方法實(shí)際上就是我們手寫的那種批量插入的功能的實(shí)現(xiàn)了，我們現(xiàn)在要做的是把這個(gè)方法注入到我們的工程中，并且替換掉之前的saveBatch方法

第一步：新增我們自己的SQL注入器，用來擴(kuò)展批量插入

public class CxmSqlInjector extends DefaultSqlInjector{
    
    @Override
    public List<AbstractMethod> getMethodList(Class<?> mapperClass) {
        // 防止父類的方法不可使用
        List<AbstractMethod> methodList = super.getMethodList(mapperClass);
        // 添加批量插入的方法
        methodList.add(new InsertBatchSomeColumn());
        return methodList;
    }
 
}