Sharding-Proxy基本功能用法介紹

更新時(shí)間：2022年02月18日 09:49:15 作者：牛初九

這篇文章介紹了Sharding-Proxy基本功能用法，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

在架構(gòu)圖中，中間的藍(lán)色方塊就是我們的中間件Sharding-Proxy，下面連接的是數(shù)據(jù)庫，我們可以配置每一個(gè)數(shù)據(jù)庫的分片，還可以配置數(shù)據(jù)庫的讀寫分離，影子庫等等。上方則是我們的業(yè)務(wù)代碼，他們統(tǒng)一連接Sharding-Proxy，就像直接連接數(shù)據(jù)庫一樣，而具體的數(shù)據(jù)插入哪一個(gè)數(shù)據(jù)庫，則由Sharding-Proxy中的分片規(guī)則決定。再看看右側(cè)，右側(cè)是一些數(shù)據(jù)庫的工具，比如：MySQL CLI，這是MySQL的命令行；Workbench是MySQL自己出的一個(gè)管理工具；還可以連接其他的工具，比如：Navicat，SQLYog等。最后再來看看左側(cè)，是一個(gè)注冊(cè)中心，目前支持最好的是Zookeeper，在注冊(cè)中心中，我們可以統(tǒng)一配置分片規(guī)則，讀寫數(shù)據(jù)源等，而且是實(shí)時(shí)生效的，在管理多個(gè)Sharding-Proxy時(shí)，非常的方便。而官方也給我們提供了界面化的工具——ShardingSphere-UI，使用起來非常的方便。

Sharding-Proxy的安裝

我們可以在Sharding-Proxy官網(wǎng)上找的下載目錄，再找到Sharding-Proxy的下載鏈接，下載最新版本的二進(jìn)制包。然后把二進(jìn)制包（tar.gz）上傳到服務(wù)器的目錄中，這個(gè)目錄可以自定義，/opt或者/usr/local都可以，然后解壓，命令如下：

tar -zxvf apache-shardingsphere-4.1.1-sharding-proxy-bin.tar.gz

解壓后，進(jìn)入到sharding-proxy的conf目錄，這個(gè)目錄sharding-proxy的配置目錄，我們所有的數(shù)據(jù)源、分片規(guī)則、讀寫分離等都在此目錄下配置。

[root@centOS-1 conf]# ll
總用量 28
-rw-r--r--. 1 root root 3019 6月   4 15:24 config-encrypt.yaml
-rw-r--r--. 1 root root 3633 7月   7 13:51 config-master_slave.yaml
-rw-r--r--. 1 root root 2938 6月   4 15:24 config-shadow.yaml
-rw-r--r--. 1 root root 5463 7月   7 14:08 config-sharding.yaml
-rw-r--r--. 1 root root 1322 6月   4 15:24 logback.xml
-rw-r--r--. 1 root root 2171 7月   7 15:19 server.yaml

logback.xml是日志的配置。
server.yaml是Sharding-Proxy的一些基礎(chǔ)配置，比如：賬號(hào)、密碼、注冊(cè)中心等。
剩下的所有以config開頭的yaml文件，都是一個(gè)邏輯數(shù)據(jù)源，我們可以看到最常見的兩個(gè)config-sharding.yaml（分片的配置），config-master_slave.yaml（讀寫分離的配置）。注意，如果我們要配置分片+讀寫分離，要不要在兩個(gè)配置文件中配置呢？不需要的，我們只需要在config-sharding.yaml中配置就可以了，如果要配置單獨(dú)的讀寫分離，則需要按照config-master_slave.yaml配置。單獨(dú)的讀寫分離和分片+讀寫分離在配置上，還是有一些區(qū)別的。

這些配置我們?cè)诤竺鏁?huì)展開講。Sharding-Proxy默認(rèn)支持的數(shù)據(jù)庫是PostgreSQL，而我們大多數(shù)都是使用的MySQL，在這里我們的數(shù)據(jù)庫使用的是MySQL，我們要將mysql-connector-java.jar這個(gè)jar包放入lib目錄，這里推薦使用5.x版本的jar包，如果使用8.x可能會(huì)有一些位置的錯(cuò)誤。

最后，我們執(zhí)行bin目錄下的start.sh就可以運(yùn)行了。

 ./bin/start.sh

Sharding-Proxy默認(rèn)的啟動(dòng)端口是3307，我們?cè)谶B接的時(shí)候要格外注意一下。

server.yaml配置

下面我們看看server.yaml文件中，都具體配置哪些內(nèi)容，我們用vim打開文件，

vim server.yaml

文件的內(nèi)容如下：

#########################################################################################
# 
# If you want to configure orchestration, authorization and proxy properties, please      refer to this file.
# 
#########################################################################################
#
#orchestration:
#  orchestration_ds:
#    orchestrationType: registry_center,config_center
#    instanceType: zookeeper
#    serverLists: 192.168.73.131:2181
#    namespace: sharding-proxy
#    props:
#      overwrite: false
#      retryIntervalMilliseconds: 500
#      timeToLiveSeconds: 60
#      maxRetries: 3
#      operationTimeoutMilliseconds: 500

authentication:
  users:
    root:
      password: root
    sharding:
      password: sharding
      authorizedSchemas: sharding_db

其中，orchestration是連接zookeeper注冊(cè)中心，這里我們暫時(shí)用不到，將其注釋掉。
authentication中，配置的是用戶名和密碼，以及授權(quán)的數(shù)據(jù)庫，在這里，我們配置了兩個(gè)用戶，分別為：root/root和sharding/sharding，其中root默認(rèn)授權(quán)所有的數(shù)據(jù)庫，而sharding用戶則授權(quán)sharding_db數(shù)據(jù)庫。在這里的數(shù)據(jù)庫（schema）是邏輯數(shù)據(jù)庫，在config-*.yaml中配置的。

config-sharding.yaml的配置

這個(gè)文件是Sharding-Proxy的核心的配置，所有的分片規(guī)則都在這個(gè)文件中配置，讓我們一起來看看吧，

schemaName: sharding_db

dataSources:
  ds_1:
    url: jdbc:mysql://192.168.73.132:3306/shard_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  master_ds:
    url: jdbc:mysql://192.168.73.131:3306/sharding_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  slave_ds_0:
    url: jdbc:mysql://192.168.73.130:3306/sharding_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50

在這個(gè)配置文件中，總共分為3個(gè)部分，我們先看看前面2個(gè)部分。
schemaName：是邏輯數(shù)據(jù)庫的名稱，這里我們叫做sharding_db。在server.yaml文件中，授權(quán)的schema就是這里的schemaName。
第二部分是數(shù)據(jù)源，在dataSources里邊，我們配置了3個(gè)數(shù)據(jù)源。分別是ds_1、master_ds和slave_ds_0。我們先來說一下數(shù)據(jù)庫的規(guī)劃吧，我們的數(shù)據(jù)將通過user_id進(jìn)行數(shù)據(jù)庫的分片，總共有2個(gè)分片，user_id尾數(shù)為奇數(shù)的將分配到ds_1的數(shù)據(jù)庫中，user_id尾數(shù)為偶數(shù)的，將分配到ds_0中，但是我們的數(shù)據(jù)源中沒有ds_0呀，ds_0將由master_ds和slave_ds_0組成一個(gè)讀寫分離數(shù)據(jù)源。

接下來再看看具體分片的配置，

shardingRule:
  masterSlaveRules:
    ds_0:
      masterDataSourceName: master_ds
      slaveDataSourceNames:
        - slave_ds_0
  tables:
    t_order:
      actualDataNodes: ds_${0..1}.t_order_${1..2}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_${order_id % 2 + 1}
      keyGenerator:
        type: SNOWFLAKE
        column: order_id
    t_order_item:
      actualDataNodes: ds_${0..1}.t_order_item_${1..2}
      tableStrategy:
        inline:
          shardingColumn: order_id
          algorithmExpression: t_order_item_${order_id % 2 + 1}
      keyGenerator:
        type: SNOWFLAKE
        column: id
  defaultDatabaseStrategy:
    inline:
      shardingColumn: user_id
      algorithmExpression: ds_${user_id % 2}
  defaultTableStrategy:
    none:
  defaultDataSourceName: ds_0

分片的配置都在shardingRule下。
在這里我們要配置讀寫分離主從數(shù)據(jù)源，在這里我們配置的是分片+讀寫分離，和單純的讀寫分離配置是不一樣的。讀寫分離的配置在masterSlaveRules下，我們配置讀寫分離數(shù)據(jù)源ds_0，指定主庫的數(shù)據(jù)源masterDataSourceName為master_ds，master_ds在上面的數(shù)據(jù)源中已經(jīng)配置，而從數(shù)據(jù)源slaveDataSourceNames可以配置多個(gè)，也就是一主多從的配置，我們用數(shù)組的方式進(jìn)行配置，- slave_ds_0指定從數(shù)據(jù)源為slave_ds_0，如果有多個(gè)從數(shù)據(jù)源，可以配置多個(gè)。
我們先跳過tables的配置，往下看，defaultDataSourceName，默認(rèn)數(shù)據(jù)源，我們指定ds_0。這個(gè)配置非常有用，在我們的項(xiàng)目中，并不是所有的表都要進(jìn)行水平切分，只有數(shù)據(jù)量比較大的表才會(huì)用到水平切分，比如：訂單表（t_order）和訂單明細(xì)表（t_order_item）。而其他的表數(shù)據(jù)量沒有那么大，單庫單表就可以完全支撐，這些表沒有分片規(guī)則，而我們指定了默認(rèn)的數(shù)據(jù)源，當(dāng)我們操作這些沒有分片規(guī)則的表時(shí)，都統(tǒng)一使用默認(rèn)的數(shù)據(jù)源。
defaultTableStrategy，默認(rèn)表的分片規(guī)則，這里我們配置的是none，沒有。也就是說所有的分片表都要配置表的分片規(guī)則。
defaultDatabaseStrategy，默認(rèn)數(shù)據(jù)庫的分片規(guī)則，這里我們配置它的規(guī)則為行內(nèi)表達(dá)式，分片字段為user_id，規(guī)則為ds_${user_id % 2}，當(dāng)user_id為偶數(shù)時(shí)，數(shù)據(jù)源為ds_0，也就是前面配置的讀寫分離數(shù)據(jù)源；而當(dāng)user_id為奇數(shù)時(shí)，數(shù)據(jù)源為ds_1。如果我們的表的分片規(guī)則中，沒有配置數(shù)據(jù)源的分片規(guī)則，將使用這個(gè)默認(rèn)數(shù)據(jù)源的分片策略。
最后再來看看tables的配置，這里配置的是分片表的規(guī)則，我們配置兩個(gè)表，t_order和t_order_item。每個(gè)分片表都由3部分組成。首先，actualDataNodes，實(shí)際的數(shù)據(jù)節(jié)點(diǎn)，這個(gè)節(jié)點(diǎn)是在MySQL中真實(shí)存在的，以t_order的配置為例，ds_${0..1}.t_order_${1..2}，說明t_order的數(shù)據(jù)節(jié)點(diǎn)有4個(gè)，分表為ds_0.t_order_1、ds_0.t_order_2、ds_1.t_order_1和ds_1.t_order_2。再來看表的分片規(guī)則，tableStrategy，它的規(guī)則也是用行內(nèi)表達(dá)式配置的，分片字段為order_id，規(guī)則為t_order_${order_id % 2 + 1}，當(dāng)order_id為奇數(shù)時(shí)，數(shù)據(jù)會(huì)分配到表t_order_1中；當(dāng)order_id為偶數(shù)時(shí)，會(huì)分配到表t_order_2中。

整個(gè)的分片策略就配置完了，決定每條數(shù)據(jù)的具體分片由兩個(gè)字段決定，user_id決定數(shù)據(jù)分配到哪一個(gè)數(shù)據(jù)源中，order_id決定數(shù)據(jù)分配到哪一個(gè)表中。這就是分片+讀寫分離的配置，如果要進(jìn)行更詳細(xì)的配置，可以參考官方文檔，這里不贅述了。

config-master_slave.yaml的配置

如果我們只配置數(shù)據(jù)源的讀寫分離，而不進(jìn)行分片配置，就需要參照這個(gè)配置文件進(jìn)行配置了，雖然分片+讀寫分離的配置已經(jīng)有了讀寫分離的配置，但是他倆之間還是有一些細(xì)微的區(qū)別的，我們來看看這個(gè)文件中的內(nèi)容吧，

schemaName: master_slave_db

dataSources:
  master_ds:
    url: jdbc:mysql://192.168.73.131:3306/sharding_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  slave_ds:
    url: jdbc:mysql://192.168.73.130:3306/sharding_order?serverTimezone=Asia/Shanghai&useSSL=false
    username: imooc
    password: Imooc@123456
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  slave_ds_1:
    url: jdbc:mysql://127.0.0.1:3306/demo_ds_slave_1?serverTimezone=UTC&useSSL=false
    username: root
    password:
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50

masterSlaveRule:
  name: ds_0
  masterDataSourceName: master_ds
  slaveDataSourceNames:
    - slave_ds
    - slave_ds_1

首先，我們還是定義邏輯數(shù)據(jù)庫的名稱，schemaName: master_slave_db，叫做master_slave_db。
然后在dataSources中定義數(shù)據(jù)源，這些配置的結(jié)構(gòu)是通用，和前面沒有區(qū)別，我們配置了3個(gè)數(shù)據(jù)源，一主兩從，master_ds（主）、slave_ds（從）和slave_ds_1（從）。
最后就是主從的規(guī)則masterSlaveRule，在前面分片+讀寫分離的配置中，叫做masterSlaveRules，復(fù)數(shù)形式。說明在單獨(dú)的讀寫分離配置中，只能配置一個(gè)主從數(shù)據(jù)源。主從數(shù)據(jù)源的名字叫做ds_0，主數(shù)據(jù)源masterDataSourceName是master_ds，從數(shù)據(jù)源slaveDataSourceNames配置了兩個(gè)，slave_ds和slave_ds_1。

這里只是單純的配置主從讀寫分離數(shù)據(jù)源，如果要配置分片+讀寫分離，請(qǐng)參照前面的配置。

config-shadow.yaml影子庫配置

在現(xiàn)在微服務(wù)盛行的情況下，系統(tǒng)被切分的很細(xì)，這對(duì)于測(cè)試，尤其是壓測(cè)是非常難的，如果在測(cè)試環(huán)境部署一套和生產(chǎn)一模一樣的環(huán)境，是非常浪費(fèi)資源的。而如果只部署一兩個(gè)服務(wù)，又不能進(jìn)行全鏈路的整體壓測(cè)。而我們的解決方案是在生產(chǎn)環(huán)境直接進(jìn)行壓測(cè)，得出的結(jié)果也是真實(shí)有效的。那么這些壓測(cè)的數(shù)據(jù)怎么辦，如果不做特殊的處理，就和生產(chǎn)的真實(shí)數(shù)據(jù)混在一起了。

這里我們就需要配置影子數(shù)據(jù)庫了，所有壓測(cè)數(shù)據(jù)都會(huì)有一個(gè)特殊的標(biāo)識(shí)，sharding-proxy根據(jù)這個(gè)特殊的標(biāo)識(shí)，將壓測(cè)的數(shù)據(jù)分配到影子庫中，和生產(chǎn)的真實(shí)數(shù)據(jù)隔離開，我們看看具體怎么配置

schemaName: sharding_db

dataSources:
  ds:
    url: jdbc:mysql://127.0.0.1:3306/demo_ds_0?serverTimezone=UTC&useSSL=false
    username: root
    password:
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50
  shadow_ds:
    url: jdbc:mysql://127.0.0.1:3306/demo_ds_1?serverTimezone=UTC&useSSL=false
    username: root
    password:
    connectionTimeoutMilliseconds: 30000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 50

shadowRule:
  column: shadow
  shadowMappings:
    ds: shadow_ds

前面還是邏輯數(shù)據(jù)庫的名稱和數(shù)據(jù)源的配置。在數(shù)據(jù)源我們配置了兩個(gè)，一個(gè)是真實(shí)的數(shù)據(jù)庫ds，另一個(gè)是影子庫shadow_ds，所有壓測(cè)的數(shù)據(jù)都會(huì)分配的影子庫中。
shadowRule中配置影子庫的規(guī)則，column，影子庫字段標(biāo)識(shí)，所有壓測(cè)數(shù)據(jù)，在程序中，將此字段設(shè)置為true。shadowMappings是主庫和影子庫的映射關(guān)系，ds數(shù)據(jù)庫的影子庫是shadow_ds。

影子庫的配置在我們壓測(cè)中還是十分有用的，將測(cè)試數(shù)據(jù)和生產(chǎn)數(shù)據(jù)隔離開，不會(huì)影響到生產(chǎn)數(shù)據(jù)。

config-encrypt.yaml數(shù)據(jù)加密配置

最后我們?cè)倏纯磾?shù)據(jù)加密的配置，一些用戶的信息是不希望在數(shù)據(jù)庫中以明文存在的，比如：用戶的身份證號(hào)、銀行卡號(hào)。但是，在使用的時(shí)候，我們還要把它解密回來。當(dāng)然，我們可以在程序中，針對(duì)這些字段進(jìn)行加解密，這里呢，我們看看Sharding-Proxy為我們提供的數(shù)據(jù)加密配置。我們看一下配置文件，

schemaName: encrypt_db

dataSource:
  url: jdbc:mysql://127.0.0.1:3306/demo_ds?serverTimezone=UTC&useSSL=false
  username: root
  password:
  connectionTimeoutMilliseconds: 30000
  idleTimeoutMilliseconds: 60000
  maxLifetimeMilliseconds: 1800000
  maxPoolSize: 50

encryptRule:
  encryptors:
    encryptor_aes: 
      type: aes
      props: 
        aes.key.value: 123456abc
  tables:
    t_card_no:
      columns:
        card_no:
          cipherColumn: card_no_cipher
          encryptor: encryptor_aes

邏輯庫與數(shù)據(jù)源的配置略過。
在加密規(guī)則encryptRule中，我們先定義加密算法，encryptor_aes，它的類型是aes，key是123456abc，這個(gè)key我們可以修改，但是一旦用這個(gè)key產(chǎn)生數(shù)據(jù)，就不要再改了，如果改了，舊數(shù)據(jù)就不能正確的解密了。
然后在tables中定義加密數(shù)據(jù)的表t_card_no，加密的列為card_no，這個(gè)列是邏輯列，在表中不是真實(shí)存在的，當(dāng)你的sql中無論查詢、插入，出現(xiàn)這個(gè)字段，都會(huì)進(jìn)行加密處理。而cipherColumn是加密后存儲(chǔ)數(shù)據(jù)的列，encryptor則是加密的規(guī)則。例如，我們執(zhí)行insert into t_card_no (card_no) values ('123456')，card_no列在表t_card_no中并不存在，t_card_no中存在的是card_no_cipher列，我們執(zhí)行成功后，card_no_cipher列存的是密文數(shù)據(jù)；當(dāng)我們執(zhí)行select card_no from t_card_no 時(shí)，雖然表t_card_no沒有card_no 列，但是可以將card_no_cipher列解密，card_no 顯示解密后的值。

數(shù)據(jù)加密在實(shí)際的應(yīng)用中還是比較多的。