快捷導(dǎo)航

Mybatis批量插入的三種實(shí)現(xiàn)方法

更新時(shí)間：2023年10月30日 09:23:58 作者：秋官

在日常開發(fā)中，如果要操作數(shù)據(jù)庫(kù)的話，或多或少都會(huì)遇到批量數(shù)據(jù)的處理，本文主要介紹了Mybatis批量插入的三種實(shí)現(xiàn)方法，感興趣的可以了解一下

1.循環(huán)插入

其實(shí)這種方式并不是批量插入，只是在日常開發(fā)中，使用這種方式的還是比較多的。

@RunWith(SpringRunner.class)
@SpringBootTest
public class BatchTest {

    @Resource
    private StudentMapper studentMapper;


    @Test
    public void test(){
        List<Student> students = generateStudentData(100);

        long start = System.currentTimeMillis();
        students.forEach(studentMapper::insert);
        System.out.println("循環(huán)插入: " + students.size() + " 條數(shù)據(jù)，共計(jì)耗時(shí)：" + (System.currentTimeMillis() - start) + " 毫秒");
    }


    public static List<Student> generateStudentData(int size){
        List<Student> list = new ArrayList<>(size);
        Random random = new Random();
        for (int i = 0; i < size; i++) {
            Student student = new Student();
            student.setName("zhangsan-" + i);
            student.setAge(random.nextInt(40));
            student.setPhone("15077828899");
            student.setBirthday(LocalDateTime.now());

            list.add(student);
        }

        return list;
    }
}

2.foreach方式插入

@RunWith(SpringRunner.class)
@SpringBootTest
public class BatchTest {

    @Resource
    private StudentMapper studentMapper;


    @Test
    public void test3(){
        List<Student> students = generateStudentData(100);

        long foreachStart = System.currentTimeMillis();
        studentMapper.insertBatch(students);
        System.out.println("foreach插入: " + students.size() + " 條數(shù)據(jù)，共計(jì)耗時(shí)：" + (System.currentTimeMillis() - foreachStart) + " 毫秒");
    }


    public static List<Student> generateStudentData(int size){
        List<Student> list = new ArrayList<>(size);
        Random random = new Random();
        for (int i = 0; i < size; i++) {
            Student student = new Student();
            student.setName("zhangsan-" + i);
            student.setAge(random.nextInt(40));
            student.setPhone("15077828899");
            student.setBirthday(LocalDateTime.now());

            list.add(student);
        }

        return list;
    }
}

StudentMapper 接口如下：

public interface StudentMapper extends BaseMapper<Student> {

    /**
     * 批量插入
     */
    int insertBatch(@Param("entities") List<Student> entities);

    /**
     * 批量更新或者插入
     */
    int insertOrUpdateBatch(@Param("entities") List<Student> entities);

}

StudentMapper.xml內(nèi)容如下：

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="com.efreight.oss.transfer.dao.StudentMapper">

    <resultMap type="com.efreight.oss.transfer.entity.Student" id="StudentMap">
        <result property="id" column="id" jdbcType="INTEGER"/>
        <result property="name" column="name" jdbcType="VARCHAR"/>
        <result property="age" column="age" jdbcType="INTEGER"/>
        <result property="birthday" column="birthday" jdbcType="TIMESTAMP"/>
        <result property="phone" column="phone" jdbcType="VARCHAR"/>
    </resultMap>

    <!-- 批量插入 -->
    <insert id="insertBatch" keyProperty="id" useGeneratedKeys="true">
        insert into cargo.student(name, age, birthday, phone)
        values
        <foreach collection="entities" item="entity" separator=",">
        (#{entity.name}, #{entity.age}, #{entity.birthday}, #{entity.phone})
        </foreach>
    </insert>

    <!-- 批量插入或按主鍵更新 -->
    <insert id="insertOrUpdateBatch" keyProperty="id" useGeneratedKeys="true">
        insert into cargo.student(name, age, birthday, phone)
        values
        <foreach collection="entities" item="entity" separator=",">
            (#{entity.name}, #{entity.age}, #{entity.birthday}, #{entity.phone})
        </foreach>
        on duplicate key update
        name = values(name) , age = values(age) , birthday = values(birthday) , phone = values(phone)
    </insert>

</mapper>

搭配 useGeneratedKeys="true" 和 keyProperty="id" 屬性(這個(gè)id是javaBean的屬性)，可以獲取自增主鍵，有時(shí)候這個(gè)主鍵我們是非常需要的。

3.批處理方式插入

通過 ExecutorType.BATCH來構(gòu)建一個(gè)可以完成批處理工作的執(zhí)行器

@RunWith(SpringRunner.class)
@SpringBootTest
public class BatchTest {

    @Resource
    private StudentMapper studentMapper;

    @Resource
    private SqlSessionTemplate sqlSessionTemplate;


    @Test
    public void test2(){
        List<Student> students = generateStudentData(100);

        long batchStart = System.currentTimeMillis();
        try(SqlSession sqlSession = this.sqlSessionTemplate.getSqlSessionFactory().openSession(ExecutorType.BATCH, false)) {
            StudentMapper studentMapper = sqlSession.getMapper(StudentMapper.class);
            for (int i = 0; i < students.size(); i++) {  
                studentMapper.insert(students.get(i));  
                if (i % 1000 == 0 || i == students.size() - 1) {  
                sqlSession.flushStatements();  
                }  
            }  
            sqlSession.commit();
        }
        System.out.println("mybatis批處理插入: " + students.size() + " 條數(shù)據(jù)，共計(jì)耗時(shí)：" + (System.currentTimeMillis() - batchStart) + " 毫秒");
    }


    public static List<Student> generateStudentData(int size){
        List<Student> list = new ArrayList<>(size);
        Random random = new Random();
        for (int i = 0; i < size; i++) {
            Student student = new Student();
            student.setName("zhangsan-" + i);
            student.setAge(random.nextInt(40));
            student.setPhone("15077828899");
            student.setBirthday(LocalDateTime.now());

            list.add(student);
        }

        return list;
    }
}

注意：批處理方式是無法獲取自增主鍵的。

順便說一下，現(xiàn)在使用mybatis-plus的也非常多，他也提供了批量插入的功能，它內(nèi)部使用的就是ExecutorType.BATCH 來構(gòu)建的。

關(guān)于三者性能的比較大家可以跑下看看，循環(huán)插入的方式性能最差，能不用就盡量不用，在foreach和批處理中，我測(cè)試發(fā)現(xiàn)foreach的性能最好（我用的MySQL是5.7），所以項(xiàng)目中我們批處理使用的都是foreach, 因?yàn)橐话阄覀円话闩坎迦胱疃嘁簿?000條左右的數(shù)據(jù)，但是大家可以根據(jù)自己機(jī)器的實(shí)際情況，去跑一下看看。

插入方式	100條	1000條	10000條	10萬條
循環(huán)插入	1599 毫秒	14336 毫秒	140793 毫秒	*
foreach	62 毫秒	364 毫秒	3249 毫秒	23940 毫秒
批處理	321 毫秒	6868 毫秒	72851 毫秒	457005 毫秒