MyBatis 流式查詢?cè)斀猓篟esultHandler 與 Cursor

在業(yè)務(wù)中，如果一次性查詢出百萬(wàn)級(jí)數(shù)據(jù)并返回 List，很容易造成 OOM 或 長(zhǎng)時(shí)間 GC。
MyBatis 提供了 流式查詢（Streaming Query） 能力，讓我們可以邊讀邊處理，極大降低內(nèi)存壓力。

1. 什么是流式查詢？

普通查詢：一次性將全部結(jié)果加載到內(nèi)存，然后再處理。
流式查詢：數(shù)據(jù)庫(kù)返回一個(gè)游標(biāo)（Cursor），應(yīng)用端一批一批地從游標(biāo)讀取數(shù)據(jù)，邊讀邊處理，避免占用大量?jī)?nèi)存。

適用場(chǎng)景

• 導(dǎo)出大批量數(shù)據(jù)（CSV、Excel）
• 批量處理（數(shù)據(jù)同步、數(shù)據(jù)遷移）
• 實(shí)時(shí)計(jì)算

2. MyBatis 流式查詢的兩種實(shí)現(xiàn)方式

2.1 使用 ResultHandler

ResultHandler 是 MyBatis 提供的經(jīng)典方式，查詢結(jié)果不會(huì)一次性放到內(nèi)存，而是每讀取一條就調(diào)用一次回調(diào)方法。

不帶參數(shù)示例

@Mapper
public interface UserMapper {
    @Select("SELECT id, name, age FROM user")
    void scanAllUsers(ResultHandler<User> handler);
}

調(diào)用：

@Autowired
private UserMapper userMapper;
public void processUsersNoParam() {
    userMapper.scanAllUsers(ctx -> {
        User user = ctx.getResultObject();
        System.out.println(user);
    });
}

帶參數(shù)示例

@Mapper
public interface UserMapper {
    @Select("SELECT id, name, age FROM user WHERE age > #{age}")
    void scanUsersByAge(@Param("age") int age, ResultHandler<User> handler);
}

調(diào)用：

public void processUsersWithParam(int minAge) {
    userMapper.scanUsersByAge(minAge, ctx -> {
        User user = ctx.getResultObject();
        System.out.println(user);
    });
}

特點(diǎn)

• 邊查邊處理，不占用過(guò)多內(nèi)存
• 處理邏輯和查詢綁定在一起
• 適合流式消費(fèi)（文件寫(xiě)入、推送消息）
• 如果收集成 List，內(nèi)存壓力和普通查詢差不多

2.2 使用 Cursor（推薦 MyBatis 3.4+）

Cursor 提供了更接近 JDBC ResultSet 的方式，支持 Iterable 迭代。

不帶參數(shù)示例

@Mapper
public interface UserMapper {
    @Select("SELECT id, name, age FROM user")
    @Options(fetchSize = Integer.MIN_VALUE) // MySQL 開(kāi)啟流式
    Cursor<User> scanAllUsers();
}

調(diào)用：

@Transactional
@Transactional
public void getUsersAsList() throws IOException {
    try (Cursor<User> cursor = userMapper.scanAllUsers()) {
        for (User user : cursor) {
            System.out.println(user);
        }
    }
}

帶參數(shù)示例

@Mapper
public interface UserMapper {
    @Select("SELECT id, name, age FROM user WHERE age > #{age}")
    @Options(fetchSize = Integer.MIN_VALUE)
    Cursor<User> scanUsersByAge(@Param("age") int age);
}

調(diào)用：

@Transactional
@Transactional
public void getUsersByAge(int minAge) throws IOException {
    try (Cursor<User> cursor = userMapper.scanUsersByAge(minAge)) {
        for (User user : cursor) {
            System.out.println(user);
        }
    }
}

3. Cursor 踩坑：A Cursor is already closed

很多人在用 Cursor 時(shí)會(huì)遇到：

A Cursor is already closed.

原因

• Cursor 是延遲加載的，必須在 同一個(gè) SqlSession 存活期間 迭代
• 如果你在 mapper 方法中返回 Cursor，卻在外部再去遍歷，此時(shí) SqlSession 已經(jīng)被 MyBatis 關(guān)閉，Cursor 自然不可用

錯(cuò)誤示例

Cursor<User> cursor = userMapper.scanAllUsers(); // 此時(shí) SQLSession 會(huì)在方法返回后關(guān)閉
for (User user : cursor) { // 這里會(huì)報(bào)錯(cuò)
    ...
}

解決辦法

1. 在同一個(gè)方法中迭代，不要把 Cursor 返回到方法外
2. 加 @Transactional 保證 SqlSession 在方法執(zhí)行期間不關(guān)閉
3. 用 try-with-resources 及時(shí)關(guān)閉 Cursor

正確示例

@Transactional
public void processCursor() {
    try (Cursor<User> cursor = userMapper.scanAllUsers()) {
        for (User user : cursor) {
            // 處理數(shù)據(jù)
        }
    } catch (IOException e) {
        throw new RuntimeException(e);
    }
}

4. 注意事項(xiàng)

1. MySQL 必須設(shè)置 @Options(fetchSize = Integer.MIN_VALUE) 才能真正流式
2. 事務(wù)控制：Cursor 必須在事務(wù)或 SqlSession 存活期間消費(fèi)
3. 大事務(wù)風(fēng)險(xiǎn)：流式處理可能導(dǎo)致事務(wù)時(shí)間長(zhǎng)，要權(quán)衡
4. 網(wǎng)絡(luò)延遲：流式每次批量取數(shù)，可能比一次性查詢多幾毫秒，但內(nèi)存安全
5. 收集成 List 慎用：這樣會(huì)失去流式查詢的內(nèi)存優(yōu)勢(shì)

5. 區(qū)別

ResultHandler（回調(diào)模式）：

• 基于觀察者模式/回調(diào)模式
• MyBatis 主動(dòng)推送數(shù)據(jù)給你的處理器
• 你提供一個(gè)處理函數(shù)，MyBatis 逐條調(diào)用

Cursor（迭代器模式）：

• 基于迭代器模式
• 你主動(dòng)從 Cursor 中拉取數(shù)據(jù)
• 更符合 Java 集合框架的使用習(xí)慣

ResultHandler 更適合：

• 簡(jiǎn)單的逐條處理場(chǎng)景
• 不需要復(fù)雜控制流程的情況
• 希望 MyBatis 完全管理資源的場(chǎng)景

Cursor 更適合：

• 需要復(fù)雜處理邏輯的場(chǎng)景
• 需要靈活控制處理流程
• 習(xí)慣使用 Java 8 Stream API 的開(kāi)發(fā)者
• 需要與現(xiàn)有迭代處理代碼集成

選擇 ResultHandler 當(dāng)：

• 處理邏輯簡(jiǎn)單直接
• 不需要復(fù)雜的流程控制
• 希望代碼更緊湊
• 不希望手動(dòng)管理資源

選擇 Cursor 當(dāng)：

• 需要靈活的流程控制
• 處理邏輯復(fù)雜，需要分步驟
• 團(tuán)隊(duì)熟悉迭代器模式
• 需要與其他基于迭代器的代碼集成
• 希望有更好的異常處理控制

6. 總結(jié)

• ResultHandler：更靈活，回調(diào)式消費(fèi)，適合不需要一次性得到全部結(jié)果
• Cursor：可迭代，語(yǔ)法直觀，但必須在 SqlSession 存活期間消費(fèi)，否則就會(huì)遇到 A Cursor is already closed
• 帶參數(shù)查詢：ResultHandler 和 Cursor 都支持，只需在 mapper 方法加參數(shù)
• 實(shí)戰(zhàn)建議：
  • 大批量導(dǎo)出、批量同步 → Cursor
  • 條件過(guò)濾、部分收集 → ResultHandler
  • 不需要流式直接用普通 List 查詢即可

到此這篇關(guān)于MyBatis流式查詢兩種實(shí)現(xiàn)方式的文章就介紹到這了,更多相關(guān)mybatis流式查詢內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論