openGauss 3.1.1是openGauss 5.0.0 release版本的Preview版本，希望廣大社區(qū)伙伴和開發(fā)者基于此版本進(jìn)行場景化驗證，提前發(fā)現(xiàn)問題并反饋社區(qū)，社區(qū)將在LTS版本發(fā)布前進(jìn)行問題修復(fù)。當(dāng)前文檔說明范圍僅限企業(yè)版。

版本介紹

3.1.1與之前的版本特性功能保持兼容，主要功能如下：

繼承功能：

• 基礎(chǔ)功能：SQL標(biāo)準(zhǔn)語法、數(shù)據(jù)類型、表(包括臨時表、全局臨時表、外部表)、視圖、物化視圖、外鍵、索引(包括btree索引、Gin索引、hash索引)、序列、函數(shù)、觸發(fā)器、聚合函數(shù)median、ROWNUM、UPSERT、、jsonb數(shù)據(jù)類型、GB18030字符集。
• 存儲過程：存儲過程、存儲過程內(nèi)commit/rollback、參數(shù)的存儲過程/函數(shù)調(diào)用省略()、存儲過程調(diào)試。
• 安全功能：認(rèn)證、權(quán)限管理、網(wǎng)絡(luò)通信安全、數(shù)據(jù)庫審計、全密態(tài)數(shù)據(jù)庫、動態(tài)數(shù)據(jù)脫敏、國密算法、防篡改賬本數(shù)據(jù)庫、內(nèi)置角色和權(quán)限管理、透明加密、ANY權(quán)限管理等。
• 高可用：主備雙機、級聯(lián)備機、邏輯復(fù)制、極致RTO、備機擴(kuò)容、基于Paxos分布式一致性協(xié)議（DCF）、兩地三中心跨Region容災(zāi)。
• SQL引擎增強：范圍分區(qū)、全局分區(qū)索引、LIST分區(qū)、HASH分區(qū)、基于范圍分區(qū)的自動擴(kuò)展分區(qū)、行存轉(zhuǎn)向量化、自治事務(wù)、并行查詢、Global Syscache、IPv6協(xié)議、postgis插件。
• 存儲引擎增強：延遲備庫、備機支持邏輯復(fù)制、并行邏輯解碼、灰度升級、滾動升級、Hash索引、列存表主鍵唯一約束、Ustore存儲引擎、段頁式存儲、發(fā)布訂閱、行存表壓縮、MOT內(nèi)存表、NUMA-aware高性能優(yōu)化等。
• 備份恢復(fù)：全量物理備份、邏輯備份、備機備份、增量備份和恢復(fù)、恢復(fù)到指定時間點(PITR)。
• AI能力：參數(shù)自調(diào)優(yōu)、慢SQL發(fā)現(xiàn)、AI查詢時間預(yù)測、數(shù)據(jù)庫指標(biāo)采集預(yù)測與異常監(jiān)控、DBMind自治運維平臺、智能優(yōu)化器、智能索引推薦、deepSQL庫內(nèi)AI算法、庫內(nèi)AI算法支持XGBoost、multiclass和PCA。
• 運維能力：WDR診斷報告新增數(shù)據(jù)庫運行指標(biāo)、備機慢SQL診斷視圖、unique sql自動淘汰。
• JDBC：支持JDBC客戶端負(fù)載均衡及讀寫分離。
• CM:支持CM集群管理，CM支持自定義資源管控，支持對外狀態(tài)查詢和推送能力。
• 工具鏈：開發(fā)工具DataStudio、數(shù)據(jù)遷移工具chameleon。
• 中間件：shardingSphere、openLookeng。
• 周邊生態(tài)：dblink，支持openEuler、CentOS、Ubuntu、FusionOS系統(tǒng)
• 其他：cmake腳本編譯、容器化部署、kubernetes

新增功能：

• 主備共享存儲
• MySQL兼容性增強
• CM部署和數(shù)據(jù)庫部署解耦，CM支持增量升級
• MOT內(nèi)存表能力增強

其中，主備共享存儲特性是3.1.X版本引入的比較重要特性。下面重點介紹一下。

主備共享存儲

特性簡介

本特性提供主備機共享一份存儲的能力，實現(xiàn)基于磁陣設(shè)備的主備共享存儲HA部署形態(tài)，可選通過OCK RDMA提升備機實時一致性讀能力_。_主備共享存儲架構(gòu)圖如下圖所示。

圖 1 主備共享架構(gòu)圖

客戶價值

解決傳統(tǒng)HA部署下存儲容量較單機部署翻倍的問題，減少了存儲容量，節(jié)省磁陣設(shè)備。可選通過OCK RDMA提升備機實時一致性讀能力。

特性描述

-共享存儲依賴兩個自研的公共組件實現(xiàn)主備共享存儲的能力：

• 分布式存儲服務(wù)DSS（Distributed Storage Service）

DSS是獨立進(jìn)程，直接管理磁陣裸設(shè)備，并對外提供類似分布式文件系統(tǒng)的能力。通過共享內(nèi)存和客戶端API動態(tài)庫，為數(shù)據(jù)庫提供創(chuàng)建文件、刪除文件、擴(kuò)展和收縮文件、讀寫文件的能力。

• 分布式內(nèi)存服務(wù)DMS（Distributed Memory Service）

DMS是動態(tài)庫，集成在數(shù)據(jù)庫內(nèi)部，通過TCP/RDMA網(wǎng)絡(luò)傳輸PAGE內(nèi)容，將主備內(nèi)存融合，提供內(nèi)存池化能力，以此實現(xiàn)備機實時一致性讀功能。

共享存儲通過分布式存儲服務(wù)DSS組件實現(xiàn)主備共享一份存儲。與傳統(tǒng)建庫相比，共享存儲基于磁陣建庫將目錄分為三種類型，每實例獨占且不共享、每實例獨占且共享、所有實例共享。其中需要共享的目錄均需存放到磁陣設(shè)備上，而不共享的目錄存放在本地盤上。另外備機建庫只需要建隸屬于自己的目錄，不需要再次創(chuàng)建所有實例共享的目錄結(jié)構(gòu)。主備共享存儲新增了相關(guān)GUC參數(shù)，以及將系統(tǒng)表存儲方式從頁式切換到段頁式。

共享存儲通過分布式內(nèi)存服務(wù)DMS組件實現(xiàn)主備頁面實時交換，提供備機實時一致性能力。即主機事務(wù)提交后，在備機立即能夠讀到，不存在延遲讀現(xiàn)象（事務(wù)隔離級別為Read-Committed）。

共享存儲通過OCK RDMA降低DMS主備頁面交換時延。TCP下的備機一致性讀進(jìn)行時延對比，開啟OCK RDMA，備機一致性讀時延至少要降低20%。

特性約束

主備共享存儲方案依賴于磁陣設(shè)備，磁陣的LUN需要支持SCSI3的PR協(xié)議（包括PR OUT（“PERSISTENT RESERVE OUT”）PR IN（“PERSISTENT RESERVE IN”）和INQUIRY）, 用于實現(xiàn)集群IO FENCE。除此之外, 還需要支持SCSI3的CAW協(xié)議（COMPARE AND WRITE），用于實現(xiàn)共享磁盤鎖。如Dorado 5000 V3磁陣設(shè)備。
實現(xiàn)的主備共享存儲HA部署形態(tài)只支持1主1備和1主2備場景，其他場景為體驗版未測試過，不承諾。
由于主備共享存儲依賴類似分布式文件系統(tǒng)的功能來實現(xiàn)備機實時一致性讀能力，因此要求文件元數(shù)據(jù)變更越少越好?；谛阅芸紤]，只支持段頁式表。
只支持主備部署在同一磁陣設(shè)備上，不支持容災(zāi)部署，也不支持主備混合部署（如主和備部署在不同的磁陣設(shè)備上）。
主備頁面交換通過RDMA加速，依賴CX5網(wǎng)卡，并且依賴OCK RDMA動態(tài)庫。
暫不支持備機重建及節(jié)點替換、節(jié)點修復(fù)等能力。
不支持從傳統(tǒng)HA部署升級到基于主備共享存儲部署。
共享存儲模式下gs_xlogdump_xid，gs_xlogdump_lsn，gs_xlogdump_tablepath，gs_xlogdump_parsepage_tablepath、pg_create_logical_replication_slot、gs_verify_and_tryrepair_page、gs_repair_page、gs_repair_file函數(shù)功能不支持使用。
共享存儲模式下T_CreatePublicationStmt、T_AlterPublicationStmt、T_CreateSubscriptionStmt、T_AlterSubscriptionStmt、T_DropSubscriptionStmt訂閱功能不支持使用。
共享存儲模式下不支持全局臨時表。

安裝部分對應(yīng)的也新增了共享存儲場景的支持。cluster_config_template.xml配置文件模板示例：

   ...
    <!-- 共享存儲模式開關(guān) -->
    <PARAM name="enable_dss" value="on"/>
    <!-- dss實例目錄 -->
    <PARAM name="dss_home" value="/opt/huawei/install/data/dss"/>
    <!-- dss共享卷名 -->
    <PARAM name="ss_dss_vg_name" value="data"/>
    <!-- dss掛載卷組名和卷組信息，包含共享卷 -->
    <PARAM name="dss_vg_info" value="data:/dev/sdb,p0:/dev/sdc,p1:/dev/sdd"/>
    <!-- cm投票卷 -->
    <PARAM name="votingDiskPath" value="/dev/sde"/>
    <!-- cm共享卷 -->
    <PARAM name="shareDiskDir" value="/dev/sdf"/>
    <!-- dss開啟ssl認(rèn)證開關(guān) -->
    <PARAM name="dss_ssl_enable" value="on"/>
    <!-- mes通信協(xié)議類型  -->
    <PARAM name="ss_interconnect_type" value="TCP"/>
    <!-- rdma綁定cpu序列  -->
    <PARAM name="ss_rdma_work_config" value="1 7"/>

歡迎有興趣和條件的同學(xué)可以對主備共享存儲特性進(jìn)行場景化驗證。

到此這篇關(guān)于openGauss數(shù)據(jù)庫共享存儲特性簡介的文章就介紹到這了,更多相關(guān)openGauss數(shù)據(jù)庫共享存儲內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論