Springboot2.x+ShardingSphere實(shí)現(xiàn)分庫分表的示例代碼

更新時(shí)間：2019年10月18日 09:21:52 作者：張堅(jiān)

這篇文章主要介紹了Springboot2.x+ShardingSphere實(shí)現(xiàn)分庫分表的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

之前一篇文章中我們講了基于Mysql8的讀寫分離(文末有鏈接)，這次來說說分庫分表的實(shí)現(xiàn)過程。

概念解析

垂直分片

按照業(yè)務(wù)拆分的方式稱為垂直分片，又稱為縱向拆分，它的核心理念是專庫專用。在拆分之前，一個(gè)數(shù)據(jù)庫由多個(gè)數(shù)據(jù)表構(gòu)成，每個(gè)表對應(yīng)著不同的業(yè)務(wù)。而拆分之后，則是按照業(yè)務(wù)將表進(jìn)行歸類，分布到不同的數(shù)據(jù)庫中，從而將壓力分散至不同的數(shù)據(jù)庫。下圖展示了根據(jù)業(yè)務(wù)需要，將用戶表和訂單表垂直分片到不同的數(shù)據(jù)庫的方案。

垂直分片往往需要對架構(gòu)和設(shè)計(jì)進(jìn)行調(diào)整。通常來講，是來不及應(yīng)對互聯(lián)網(wǎng)業(yè)務(wù)需求快速變化的；而且，它也并無法真正的解決單點(diǎn)瓶頸。垂直拆分可以緩解數(shù)據(jù)量和訪問量帶來的問題，但無法根治。如果垂直拆分之后，表中的數(shù)據(jù)量依然超過單節(jié)點(diǎn)所能承載的閾值，則需要水平分片來進(jìn)一步處理。

水平分片

水平分片又稱為橫向拆分。相對于垂直分片，它不再將數(shù)據(jù)根據(jù)業(yè)務(wù)邏輯分類，而是通過某個(gè)字段（或某幾個(gè)字段），根據(jù)某種規(guī)則將數(shù)據(jù)分散至多個(gè)庫或表中，每個(gè)分片僅包含數(shù)據(jù)的一部分。例如：根據(jù)主鍵分片，偶數(shù)主鍵的記錄放入0庫（或表），奇數(shù)主鍵的記錄放入1庫（或表），如下圖所示。

水平分片從理論上突破了單機(jī)數(shù)據(jù)量處理的瓶頸，并且擴(kuò)展相對自由，是分庫分表的標(biāo)準(zhǔn)解決方案。

開發(fā)準(zhǔn)備

分庫分表常用的組件就是shardingsphere，目前已經(jīng)是apache頂級項(xiàng)目，這次我們使用springboot2.1.9 + shardingsphere4.0.0-RC2（均為最新版本）來完成分庫分表的操作。

假設(shè)有一張訂單表，我們需要將它分成2個(gè)庫，每個(gè)庫三張表，根據(jù)id字段取模確定最終數(shù)據(jù)的位置，數(shù)據(jù)庫環(huán)境配置如下：

172.31.0.129

blog
- t_order_0
- t_order_1
- t_order_2

172.31.0.131

blog
- t_order_0
- t_order_1
- t_order_2

三張表的邏輯表為t_order，大家可以根據(jù)建表語句準(zhǔn)備好其他所有數(shù)據(jù)表。

DROP TABLE IF EXISTS `t_order_0;
CREATE TABLE `t_order_0` (
 `id` bigint(20) NOT NULL,
 `name` varchar(255) DEFAULT NULL COMMENT '名稱',
 `type` varchar(255) DEFAULT NULL COMMENT '類型',
 `gmt_create` timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '創(chuàng)建時(shí)間',
 PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

注意，千萬不能將主鍵的生成規(guī)則設(shè)置成自增長，需要按照一定規(guī)則來生成主鍵，這里使用shardingsphere中的SNOWFLAKE俗稱雪花算法來生成主鍵

代碼實(shí)現(xiàn)

修改pom.xml,引入相關(guān)組件

<properties>
    <java.version>1.8</java.version>
    <mybatis-plus.version>3.1.1</mybatis-plus.version>
    <sharding-sphere.version>4.0.0-RC2</sharding-sphere.version>
  </properties>

  <dependencies>
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-web</artifactId>
    </dependency>

    <dependency>
      <groupId>org.mybatis.spring.boot</groupId>
      <artifactId>mybatis-spring-boot-starter</artifactId>
      <version>2.0.1</version>
    </dependency>

    <dependency>
      <groupId>mysql</groupId>
      <artifactId>mysql-connector-java</artifactId>
      <version>8.0.15</version>
    </dependency>

    <dependency>
      <groupId>com.baomidou</groupId>
      <artifactId>mybatis-plus-boot-starter</artifactId>
      <version>${mybatis-plus.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.shardingsphere</groupId>
      <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
      <version>${sharding-sphere.version}</version>
    </dependency>

    <dependency>
      <groupId>org.apache.shardingsphere</groupId>
      <artifactId>sharding-jdbc-spring-namespace</artifactId>
      <version>${sharding-sphere.version}</version>
    </dependency>

    <dependency>
      <groupId>org.projectlombok</groupId>
      <artifactId>lombok</artifactId>
      <optional>true</optional>
    </dependency>
    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-test</artifactId>
      <scope>test</scope>
    </dependency>
  </dependencies>

  <build>
    <plugins>
      <plugin>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-maven-plugin</artifactId>
      </plugin>
    </plugins>
  </build>

配置mysql-plus

 @Configuration
  @MapperScan("com.github.jianzh5.blog.mapper")
  public class MybatisPlusConfig {

      /**
       * 攻擊 SQL 阻斷解析器
       */
      @Bean
      public PaginationInterceptor paginationInterceptor(){
          PaginationInterceptor paginationInterceptor = new PaginationInterceptor();
          List<ISqlParser> sqlParserList = new ArrayList<>();
          sqlParserList.add(new BlockAttackSqlParser());

          paginationInterceptor.setSqlParserList(sqlParserList);
          return new PaginationInterceptor();
      }


      /**
       * SQL執(zhí)行效率插件
       */
      @Bean
      // @Profile({"dev","test"})
      public PerformanceInterceptor performanceInterceptor() {
          return new PerformanceInterceptor();
      }
  }

編寫實(shí)體類Order

 @Data
  @TableName("t_order")
  public class Order {
      private Long id;

      private String name;

      private String type;

      private Date gmtCreate;

  }

編寫DAO層,OrderMapper

 /**
   * 訂單Dao層
   */
  public interface OrderMapper extends BaseMapper<Order> {

  }

編寫接口及接口實(shí)現(xiàn)

 public interface OrderService extends IService<Order> {

  }

  /**
   * 訂單實(shí)現(xiàn)層
   * @author jianzh5
   * @date 2019/10/15 17:05
   */
  @Service
  public class OrderServiceImpl extends ServiceImpl<OrderMapper, Order> implements OrderService {

  }

配置文件（配置說明見備注）

 server.port=8080

  # 配置ds0 和ds1兩個(gè)數(shù)據(jù)源
  spring.shardingsphere.datasource.names = ds0,ds1

  #ds0 配置
  spring.shardingsphere.datasource.ds0.type = com.zaxxer.hikari.HikariDataSource
  spring.shardingsphere.datasource.ds0.driver-class-name = com.mysql.cj.jdbc.Driver
  spring.shardingsphere.datasource.ds0.jdbc-url = jdbc:mysql://192.168.249.129:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false
  spring.shardingsphere.datasource.ds0.username = root
  spring.shardingsphere.datasource.ds0.password = 000000

  #ds1 配置
  spring.shardingsphere.datasource.ds1.type = com.zaxxer.hikari.HikariDataSource
  spring.shardingsphere.datasource.ds1.driver-class-name = com.mysql.cj.jdbc.Driver
  spring.shardingsphere.datasource.ds1.jdbc-url = jdbc:mysql://192.168.249.131:3306/blog?characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&useSSL=false
  spring.shardingsphere.datasource.ds1.username = root
  spring.shardingsphere.datasource.ds1.password = 000000

  # 分庫策略 根據(jù)id取模確定數(shù)據(jù)進(jìn)哪個(gè)數(shù)據(jù)庫
  spring.shardingsphere.sharding.default-database-strategy.inline.sharding-column = id
  spring.shardingsphere.sharding.default-database-strategy.inline.algorithm-expression = ds$->{id % 2}

  # 具體分表策略
  # 節(jié)點(diǎn) ds0.t_order_0,ds0.t_order_1,ds1.t_order_0,ds1.t_order_1
  spring.shardingsphere.sharding.tables.t_order.actual-data-nodes = ds$->{0..1}.t_order_$->{0..2}
  # 分表字段id
  spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.sharding-column = id
  # 分表策略 根據(jù)id取模,確定數(shù)據(jù)最終落在那個(gè)表中
  spring.shardingsphere.sharding.tables.t_order.table-strategy.inline.algorithm-expression = t_order_$->{id % 3}


  # 使用SNOWFLAKE算法生成主鍵
  spring.shardingsphere.sharding.tables.t_order.key-generator.column = id
  spring.shardingsphere.sharding.tables.t_order.key-generator.type = SNOWFLAKE

  #spring.shardingsphere.sharding.binding-tables=t_order

  spring.shardingsphere.props.sql.show = true

編寫單元測試，查看結(jié)果是否正確

  public class OrderServiceImplTest extends BlogApplicationTests {
    @Autowired
    private OrderService orderService;


    @Test
    public void testSave(){
      for (int i = 0 ; i< 100 ; i++){
        Order order = new Order();
        order.setName("電腦"+i);
        order.setType("辦公");
        orderService.save(order);
      }
    }

    @Test
    public void testGetById(){
      long id = 1184489163202789377L;
      Order order = orderService.getById(id);
      System.out.println(order.toString());
    }
  }

在數(shù)據(jù)表中查看數(shù)據(jù)，確認(rèn)數(shù)據(jù)正常插入