MyBatis-Plus流式查詢的實(shí)現(xiàn)示例
在使用 MyBatis-Plus 進(jìn)行流式查詢時(shí),通常是為了處理大量數(shù)據(jù)而避免一次性加載所有數(shù)據(jù)到內(nèi)存中,從而減少內(nèi)存消耗并提高性能。
MyBatis-Plus 從 3.5.4 版本開始支持流式查詢,這是 MyBatis 的原生功能,通過 ResultHandler 接口實(shí)現(xiàn)結(jié)果集的流式查詢。這種查詢方式適用于數(shù)據(jù)跑批或處理大數(shù)據(jù)的業(yè)務(wù)場景。
在 BaseMapper 中,新增了多個(gè)重載方法,包括 selectList, selectByMap, selectBatchIds, selectMaps, selectObjs,這些方法可以與流式查詢結(jié)合使用。
需要注意的是,在低版本的 MyBatis-Plus 中,如果自定義 ResultHandler 結(jié)合分頁查詢,可能會(huì)出現(xiàn)錯(cuò)誤。在這種情況下,需要手動(dòng)關(guān)閉 count 查詢。
使用示例
批量數(shù)據(jù)錄入
剛好順便學(xué)習(xí)下mybatisplus 批量數(shù)據(jù)錄入
數(shù)據(jù)準(zhǔn)備 10萬條數(shù)據(jù)
@Autowired
private MybatisUserService mybatisUserService;
@Test
void contextLoads() {
List<MybatisUser> mybatisUsers = new ArrayList<>();
for (int i = 0; i < 100000; i++) {
MybatisUser mybatisUser = new MybatisUser();
mybatisUser.setId(i);
mybatisUser.setName("A"+i);
mybatisUser.setSex(SexEnum.MAN);
mybatisUsers.add(mybatisUser);
}
mybatisUserService.insertBatch(mybatisUsers);
}MybatisBatch方式
// 記錄開始時(shí)間,用于計(jì)算執(zhí)行耗時(shí)
long startTime = System.nanoTime(); // 使用 nanoTime 獲取更精確的時(shí)間
// 創(chuàng)建 MybatisBatch 對(duì)象,用于執(zhí)行批量操作
MybatisBatch<MybatisUser> mybatisBatch = new MybatisBatch<>(sqlSessionFactory, mybatisUser);
// 創(chuàng)建 MybatisBatch.Method 對(duì)象,指定具體的操作方法
MybatisBatch.Method<MybatisUser> method = new MybatisBatch.Method<>(MybatisUserDao.class);
// 執(zhí)行插入操作
mybatisBatch.execute(method.insert());
// 記錄結(jié)束時(shí)間,用于計(jì)算執(zhí)行耗時(shí)
long endTime = System.nanoTime(); // 獲取結(jié)束時(shí)間
// 計(jì)算執(zhí)行時(shí)間并打印
long executionTime = endTime - startTime;
System.out.println("Execution time: " + executionTime + " nanoseconds");
SQL values方式
@Insert("<script>" +
"INSERT INTO `mybatis_user`(`id`, `name`, `sex`) " +
"VALUES " +
"<foreach collection= 'list' item= 'item' separator= ','> " +
"(#{item.id},#{item.name},#{item.sex})" +
"</foreach></script>")
int insertBatchSql(@Param("list") List<MybatisUser> list);
雖然插入很快,但是不是特別推薦,當(dāng)實(shí)體數(shù)據(jù)過多的時(shí)候,sql拼接可能會(huì)出問題。
推薦的話 還是用多線程來分批插入。
流式查詢
/**
* 選擇并處理數(shù)據(jù)庫中的所有用戶記錄
* 此方法使用baseMapper從數(shù)據(jù)庫中選擇所有用戶記錄,并使用ResultHandler進(jìn)行處理
* 每處理一條記錄,都會(huì)在控制臺(tái)輸出當(dāng)前記錄的信息
*/
public void selectAll() {
// 從數(shù)據(jù)庫獲取表所有記錄,做數(shù)據(jù)處理
baseMapper.selectList(Wrappers.emptyWrapper(), new ResultHandler<MybatisUser>() {
// 初始化計(jì)數(shù)器,用于記錄當(dāng)前處理的記錄數(shù)
int count = 0;
/**
* 處理查詢結(jié)果
* 此方法在查詢到每條記錄時(shí)被調(diào)用,用于處理單個(gè)查詢結(jié)果
* @param resultContext 包含查詢結(jié)果的上下文
*/
@Override
public void handleResult(ResultContext<? extends MybatisUser> resultContext) {
// 獲取當(dāng)前處理的用戶記錄
MybatisUser mybatisUser = resultContext.getResultObject();
// 在控制臺(tái)輸出當(dāng)前處理的記錄信息
System.out.println("當(dāng)前處理第" + (++count) + "條記錄: " + mybatisUser);
}
});
}
下面是一下常用方法
- getResultObject: 獲取數(shù)據(jù)庫中的每一條記錄。
- getResultCount: 獲取當(dāng)前處理的結(jié)果集條數(shù),每處理一條記錄,該計(jì)數(shù)器會(huì)加1,計(jì)數(shù)從1開始。
- stop: 停止繼續(xù)處理結(jié)果集,相當(dāng)于在循環(huán)中使用 break 語句。
比如當(dāng)我們需要導(dǎo)出大量數(shù)據(jù)的情況下,使用普通查詢導(dǎo)出是因?yàn)橐淮涡园阉袛?shù)據(jù)查詢出來放在集合中,這時(shí)候垃圾處理器釋放不了這一部分內(nèi)存,如果內(nèi)存不夠就會(huì)使程序掛掉。使用mybatis-plus的流式查詢, 一邊查詢一邊導(dǎo)出 ,這樣用過的數(shù)據(jù)寫入流之后垃圾處理器回收掉內(nèi)存空間,使內(nèi)存得到合理應(yīng)用 。
到此這篇關(guān)于MyBatis-Plus流式查詢的實(shí)現(xiàn)示例的文章就介紹到這了,更多相關(guān)MyBatis-Plus流式查詢內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Java?file.delete刪除文件失敗,Windows磁盤出現(xiàn)無法訪問的文件問題
這篇文章主要介紹了Java?file.delete刪除文件失敗,Windows磁盤出現(xiàn)無法訪問的文件問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-06-06
SpringBoot自定義注解之實(shí)現(xiàn)AOP切面日志詳解
這篇文章主要為大家詳細(xì)介紹了SpringBoot自定義注解之實(shí)現(xiàn)AOP切面統(tǒng)一打印出入?yún)⑷罩?,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2022-09-09
IDEA自帶Maven插件找不到settings.xml配置文件
IDEA自帶了Maven插件,最近發(fā)現(xiàn)了一個(gè)問題,IDEA自帶Maven插件找不到settings.xml配置文件,本文就來詳細(xì)的介紹一下解決方法,感興趣的可以了解一下2023-11-11
SpringBoot完整實(shí)現(xiàn)滑塊拼圖驗(yàn)證+軌跡驗(yàn)證+Redis分布式方案
滑塊拼圖驗(yàn)證是一種行為驗(yàn)證技術(shù),通過要求用戶將拼圖塊拖動(dòng)到正確位置來區(qū)分人類用戶和自動(dòng)化程序,本文介紹SpringBoot完整實(shí)現(xiàn)滑塊拼圖驗(yàn)證+軌跡驗(yàn)證+Redis分布式方案,感興趣的朋友跟隨小編一起看看吧2026-03-03

