Java中ShardingSphere分庫(kù)分表實(shí)戰(zhàn)
一. 項(xiàng)目需求
我們做項(xiàng)目的時(shí)候，數(shù)據(jù)量比較大,單表千萬(wàn)級(jí)別的,需要分庫(kù)分表，于是在網(wǎng)上搜索這方面的開(kāi)源框架,最常見(jiàn)的就是mycat,sharding-sphere,最終我選擇后者,用它來(lái)做分庫(kù)分表比較容易上手。
二. 簡(jiǎn)介sharding-sphere
官網(wǎng)地址: https://shardingsphere.apache.org/
- ShardingSphere是一套開(kāi)源的分布式數(shù)據(jù)庫(kù)中間件解決方案組成的生態(tài)圈，它由Sharding-JDBC、Sharding-Proxy和Sharding-Sidecar（計(jì)劃中）這3款相互獨(dú)立的產(chǎn)品組成。 他們均提供標(biāo)準(zhǔn)化的數(shù)據(jù)分片、分布式事務(wù)和數(shù)據(jù)庫(kù)治理功能，可適用于如Java同構(gòu)、異構(gòu)語(yǔ)言、容器、云原生等各種多樣化的應(yīng)用場(chǎng)景。
- ShardingSphere定位為關(guān)系型數(shù)據(jù)庫(kù)中間件，旨在充分合理地在分布式的場(chǎng)景下利用關(guān)系型數(shù)據(jù)庫(kù)的計(jì)算和存儲(chǔ)能力，而并非實(shí)現(xiàn)一個(gè)全新的關(guān)系型數(shù)據(jù)庫(kù)。 它與NoSQL和NewSQL是并存而非互斥的關(guān)系。NoSQL和NewSQL作為新技術(shù)探索的前沿，放眼未來(lái)，擁抱變化，是非常值得推薦的。反之，也可以用另一種思路看待問(wèn)題，放眼未來(lái)，關(guān)注不變的東西，進(jìn)而抓住事物本質(zhì)。 關(guān)系型數(shù)據(jù)庫(kù)當(dāng)今依然占有巨大市場(chǎng)，是各個(gè)公司核心業(yè)務(wù)的基石，未來(lái)也難于撼動(dòng)，我們目前階段更加關(guān)注在原有基礎(chǔ)上的增量，而非顛覆
sharding-jdbc 定位為輕量級(jí)Java框架，在Java的JDBC層提供的額外服務(wù)。 它使用客戶端直連數(shù)據(jù)庫(kù)，以jar包形式提供服務(wù)，無(wú)需額外部署和依賴，可理解為增強(qiáng)版的JDBC驅(qū)動(dòng)，完全兼容JDBC和各種ORM框架。
適用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或直接使用JDBC。 基于任何第三方的數(shù)據(jù)庫(kù)連接池，如：DBCP, C3P0, BoneCP, Druid, HikariCP等。 支持任意實(shí)現(xiàn)JDBC規(guī)范的數(shù)據(jù)庫(kù)。目前支持MySQL，Oracle，SQLServer和PostgreSQL
三. 項(xiàng)目實(shí)戰(zhàn)
本項(xiàng)目基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 實(shí)現(xiàn)分庫(kù)分表
1. pom.xml引入依賴
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
<modelVersion>4.0.0</modelVersion>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.5.RELEASE</version>
<relativePath/>
</parent>
<groupId>com.xd</groupId>
<artifactId>spring-boot-sharding-table</artifactId>
<version>0.0.1-SNAPSHOT</version>
<name>spring-boot-sharding-table</name>
<description>基于 Spring Boot 2.1.5 使用sharding-sphere + Mybatis-Plus 實(shí)現(xiàn)分庫(kù)分表</description>
<properties>
<java.version>1.8</java.version>
</properties>
<dependencies>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-test</artifactId>
<scope>test</scope>
</dependency>
<!--mysql-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<scope>runtime</scope>
</dependency>
<!--Mybatis-Plus-->
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.1.1</version>
</dependency>
<!--shardingsphere start-->
<!-- for spring boot -->
<dependency>
<groupId>io.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-boot-starter</artifactId>
<version>3.1.0</version>
</dependency>
<!-- for spring namespace -->
<dependency>
<groupId>io.shardingsphere</groupId>
<artifactId>sharding-jdbc-spring-namespace</artifactId>
<version>3.1.0</version>
</dependency>
<!--shardingsphere end-->
<!--lombok-->
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.8</version>
</dependency>
</dependencies>
<build>
<plugins>
<plugin>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-maven-plugin</artifactId>
</plugin>
</plugins>
</build>
</project>
2. 創(chuàng)建數(shù)據(jù)庫(kù)和表
ds0 ├── user_0 └── user_1 ds1 ├── user_0 └── user_1
既然是分庫(kù)分表 庫(kù)結(jié)構(gòu)與表結(jié)構(gòu)一定是一致的
數(shù)據(jù)庫(kù): ds0
CREATE DATABASE IF NOT EXISTS `ds0` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */; USE `ds0`; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for user_0 -- ---------------------------- DROP TABLE IF EXISTS `user_0`; CREATE TABLE `user_0` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; -- ---------------------------- -- Table structure for user_1 -- ---------------------------- DROP TABLE IF EXISTS `user_1`; CREATE TABLE `user_1` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; SET FOREIGN_KEY_CHECKS = 1;
數(shù)據(jù)庫(kù): ds1
CREATE DATABASE IF NOT EXISTS `ds1` /*!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci */; USE `ds1`; SET NAMES utf8mb4; SET FOREIGN_KEY_CHECKS = 0; -- ---------------------------- -- Table structure for user_0 -- ---------------------------- DROP TABLE IF EXISTS `user_0`; CREATE TABLE `user_0` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; -- ---------------------------- -- Table structure for user_1 -- ---------------------------- DROP TABLE IF EXISTS `user_1`; CREATE TABLE `user_1` ( `id` int(11) NOT NULL, `name` varchar(255) DEFAULT NULL, `age` int(11) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4; SET FOREIGN_KEY_CHECKS = 1;
3. application.properties (重點(diǎn))基本是在這個(gè)文件配置的
# 數(shù)據(jù)源 ds0,ds1
sharding.jdbc.datasource.names=ds0,ds1
# 第一個(gè)數(shù)據(jù)庫(kù)
sharding.jdbc.datasource.ds0.type=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.ds0.driver-class-name=com.mysql.cj.jdbc.Driver
sharding.jdbc.datasource.ds0.jdbc-url=jdbc:mysql://localhost:3306/ds0?characterEncoding=utf-8&&serverTimezone=GMT%2B8
sharding.jdbc.datasource.ds0.username=root
sharding.jdbc.datasource.ds0.password=root
# 第二個(gè)數(shù)據(jù)庫(kù)
sharding.jdbc.datasource.ds1.type=com.zaxxer.hikari.HikariDataSource
sharding.jdbc.datasource.ds1.driver-class-name=com.mysql.cj.jdbc.Driver
sharding.jdbc.datasource.ds1.jdbc-url=jdbc:mysql://localhost:3306/ds1?characterEncoding=utf-8&&serverTimezone=GMT%2B8
sharding.jdbc.datasource.ds1.username=root
sharding.jdbc.datasource.ds1.password=root
# 水平拆分的數(shù)據(jù)庫(kù)（表） 配置分庫(kù) + 分表策略 行表達(dá)式分片策略
# 分庫(kù)策略
sharding.jdbc.config.sharding.default-database-strategy.inline.sharding-column=id
sharding.jdbc.config.sharding.default-database-strategy.inline.algorithm-expression=ds$->{id % 2}
# 分表策略 其中user為邏輯表 分表主要取決于age行
sharding.jdbc.config.sharding.tables.user.actual-data-nodes=ds$->{0..1}.user_$->{0..1}
sharding.jdbc.config.sharding.tables.user.table-strategy.inline.sharding-column=age
# 分片算法表達(dá)式
sharding.jdbc.config.sharding.tables.user.table-strategy.inline.algorithm-expression=user_$->{age % 2}
# 主鍵 UUID 18位數(shù) 如果是分布式還要進(jìn)行一個(gè)設(shè)置 防止主鍵重復(fù)
#sharding.jdbc.config.sharding.tables.user.key-generator-column-name=id
# 打印執(zhí)行的數(shù)據(jù)庫(kù)以及語(yǔ)句
sharding.jdbc.config.props..sql.show=true
spring.main.allow-bean-definition-overriding=true
我這次使用配置文件方式實(shí)現(xiàn)分庫(kù)以及分表
以上配置說(shuō)明:
邏輯表 user
水平拆分的數(shù)據(jù)庫(kù)（表）的相同邏輯和數(shù)據(jù)結(jié)構(gòu)表的總稱。例：用戶數(shù)據(jù)根據(jù)主鍵尾數(shù)拆分為2張表，分別是user0到user1，他們的邏輯表名為user。
真實(shí)表
在分片的數(shù)據(jù)庫(kù)中真實(shí)存在的物理表。即上個(gè)示例中的user0到user1
分片算法:
Hint分片算法
對(duì)應(yīng)HintShardingAlgorithm，用于處理使用Hint行分片的場(chǎng)景。需要配合HintShardingStrategy使用。
分片策略:
行表達(dá)式分片策略 對(duì)應(yīng)InlineShardingStrategy。使用Groovy的表達(dá)式，提供對(duì)SQL語(yǔ)句中的=和IN的分片操作支持，只支持單分片鍵。對(duì)于簡(jiǎn)單的分片算法，可以通過(guò)簡(jiǎn)單的配置使用，從而避免繁瑣的Java代碼開(kāi)發(fā)，如: user$->{id % 2} 表示user表根據(jù)id模2，而分成2張表，表名稱為user0到user_1。
自增主鍵生成策略
通過(guò)在客戶端生成自增主鍵替換以數(shù)據(jù)庫(kù)原生自增主鍵的方式，做到分布式主鍵無(wú)重復(fù)。 采用UUID.randomUUID()的方式產(chǎn)生分布式主鍵?；蛘?SNOWFLAKE
4. 實(shí)體類
package com.zhang.shardingtable.entity;
import com.baomidou.mybatisplus.annotation.TableName;
import com.baomidou.mybatisplus.extension.activerecord.Model;
import groovy.transform.EqualsAndHashCode;
import lombok.Data;
import lombok.experimental.Accessors;
/**
* @Classname User
* @Description 用戶實(shí)體類
* @Author 章國(guó)文 13120739083@163.com
* @Date 2019-06-28 17:24
* @Version 1.0
*/
@Data
@EqualsAndHashCode(callSuper = true)
@Accessors(chain = true)
@TableName("user")
public class User extends Model<User> {
/**
* 主鍵Id
*/
private int id;
/**
* 名稱
*/
private String name;
/**
* 年齡
*/
private int age;
}
5. dao層
package com.zhang.shardingtable.mapper;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.zhang.shardingtable.entity.User;
/**
* user dao層
* @author lihaodong
*/
public interface UserMapper extends BaseMapper<User> {
}
6. service層以及實(shí)現(xiàn)類
UserService
package com.zhang.shardingtable.service;
import com.baomidou.mybatisplus.extension.service.IService;
import com.zhang.shardingtable.entity.User;
import java.util.List;
/**
* @Classname UserService
* @Description 用戶服務(wù)類
* @Author 章國(guó)文 13120739083@163.com
* @Date 2019-06-28 17:31
* @Version 1.0
*/
public interface UserService extends IService<User> {
/**
* 保存用戶信息
* @param entity
* @return
*/
@Override
boolean save(User entity);
/**
* 查詢?nèi)坑脩粜畔?
* @return
*/
List<User> getUserList();
}
UserServiceImpl
package com.zhang.shardingtable.service.Impl;
import com.baomidou.mybatisplus.core.toolkit.Wrappers;
import com.baomidou.mybatisplus.extension.service.impl.ServiceImpl;
import com.zhang.shardingtable.entity.User;
import com.zhang.shardingtable.mapper.UserMapper;
import com.zhang.shardingtable.service.UserService;
import org.springframework.stereotype.Service;
import java.util.List;
/**
* @Classname UserServiceImpl
* @Description 用戶服務(wù)實(shí)現(xiàn)類
* @Author 章國(guó)文 13120739083@163.com
* @Date 2019-06-28 17:32
* @Version 1.0
*/
@Service
public class UserServiceImpl extends ServiceImpl<UserMapper, User> implements UserService {
@Override
public boolean save(User entity) {
return super.save(entity);
}
@Override
public List<User> getUserList() {
return baseMapper.selectList(Wrappers.<User>lambdaQuery());
}
}
7. 控制類
package com.zhang.shardingtable.controller;
import com.zhang.shardingtable.entity.User;
import com.zhang.shardingtable.service.UserService;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;
/**
* @Classname UserController
* @Description 用戶測(cè)試控制類
* @Author 章國(guó)文 13120739083@163.com
* @Date 2019-06-28 17:36
* @Version 1.0
*/
@RestController
public class UserController {
@Autowired
private UserService userService;
@GetMapping("/select")
public List<User> select() {
return userService.getUserList();
}
@GetMapping("/insert")
public Boolean insert(User user) {
return userService.save(user);
}
}
四. 測(cè)試
啟動(dòng)項(xiàng)目
打開(kāi)瀏覽器 分別訪問(wèn):
http://localhost:8080/insert?id=1&name=lhd&age=12
http://localhost:8080/insert?id=2&name=lhd&age=13
http://localhost:8080/insert?id=3&name=lhd&age=14
http://localhost:8080/insert?id=4&name=lhd&age=15
可以在控制臺(tái)看到如下展示，表示插入成功了
根據(jù)分片算法和分片策略 不同的id以及age取模落入不同的庫(kù)表 達(dá)到了分庫(kù)分表的結(jié)果
有的人說(shuō) 查詢的話 該怎么做呢 其實(shí)也幫我們做好了 打開(kāi)瀏覽器 訪問(wèn):
http://localhost:8080/select
分別從ds0數(shù)據(jù)庫(kù)兩張表和ds1兩張表查詢結(jié)果 然后匯總結(jié)果返回
之前有朋友問(wèn)我單表數(shù)據(jù)量達(dá)千萬(wàn),想做水平分割,不分庫(kù),也可以的吧?
是完全可以的 只要修改配置文件的配置即可 非常靈活
通過(guò)代碼大家也可以看到,我的業(yè)務(wù)層代碼和平時(shí)單表操作是一樣的,只需要引入sh配置和邏輯表保持現(xiàn)有的不便即可,使用無(wú)侵入我們的代碼 可以在原有的基礎(chǔ)上改動(dòng)即可 可以說(shuō)是非常方便
到此這篇關(guān)于Java中ShardingSphere分庫(kù)分表實(shí)戰(zhàn)的文章就介紹到這了,更多相關(guān)ShardingSphere分庫(kù)分表內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了Java多線程死鎖與資源限制操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-09-09
Java 文件傳輸助手的實(shí)現(xiàn)(單機(jī)版)
這篇文章主要介紹了Java 文件傳輸助手的實(shí)現(xiàn)(單機(jī)版)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-05-05
MyEclipse8.6首次運(yùn)行maven項(xiàng)目圖標(biāo)上沒(méi)有小M的標(biāo)識(shí)怎么解決
myeclipse8.6導(dǎo)入maven項(xiàng)目后識(shí)別為普通java項(xiàng)目，即項(xiàng)目圖標(biāo)上沒(méi)有小M的標(biāo)識(shí)。這時(shí)是無(wú)法直接運(yùn)行的，怎么解決這一問(wèn)題呢？下面小編給大家?guī)?lái)了解決方案，需要的朋友參考下吧2016-11-11
Java數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)二維數(shù)組與稀疏數(shù)組轉(zhuǎn)換詳解
稀疏數(shù)組是用于優(yōu)化，壓縮具有以下特點(diǎn)的二維數(shù)組：當(dāng)二維數(shù)組中的元素大部分相同，有意義的數(shù)據(jù)元素較少時(shí)，可以使用稀疏數(shù)組進(jìn)行簡(jiǎn)化，節(jié)省存儲(chǔ)空間2021-10-10
Java通過(guò)FTP服務(wù)器上傳下載文件的方法
本文介紹了如何使用Apache Jakarta Commons Net（commons-net-3.3.jar）基于FileZilla Server服務(wù)器實(shí)現(xiàn)FTP服務(wù)器上文件的上傳/下載/刪除等操作，需要的朋友可以參考下2015-07-07
詳解獲取Spring MVC中所有RequestMapping以及對(duì)應(yīng)方法和參數(shù)
本篇文章主要介紹了詳解獲取Spring MVC中所有RequestMapping以及對(duì)應(yīng)方法和參數(shù)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。2017-03-03
這篇文章主要介紹了教你怎么用Idea打包jar包,文中有非常詳細(xì)的代碼示例,對(duì)剛開(kāi)始使用IDEA的小伙伴們很有幫助喲,需要的朋友可以參考下2021-05-05
ConcurrentHashMap?存儲(chǔ)結(jié)構(gòu)源碼解析
這篇文章主要為大家介紹了ConcurrentHashMap?存儲(chǔ)結(jié)構(gòu)源碼解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-10-10
SpringBoot項(xiàng)目發(fā)送釘釘消息功能實(shí)現(xiàn)
在工作中的一些告警需要發(fā)送釘釘通知,有的是發(fā)給個(gè)人,有的要發(fā)到群里,這時(shí)項(xiàng)目就需要接入釘釘,實(shí)現(xiàn)發(fā)消息的功能,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧2024-02-02
本文詳細(xì)介紹了 Java1.5 引入的新特性枚舉中的關(guān)鍵字enum，運(yùn)用大量的代碼加以解釋，相信可以幫助到正在學(xué)習(xí)該知識(shí)的小伙伴，大家可以參考一下2021-08-08