Golang實(shí)現(xiàn)KV存儲(chǔ)引擎實(shí)例探究

更新時(shí)間：2024年01月24日 10:33:58 作者：紹納 nullbody筆記

這篇文章主要為大家介紹了Golang實(shí)現(xiàn)KV存儲(chǔ)引擎實(shí)例探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪

引言

通過本項(xiàng)目可以學(xué)到什么？

WAL預(yù)寫日志的實(shí)現(xiàn)

LSM Tree（Log-Structed-Merge Tree)

如何構(gòu)架一個(gè)企業(yè)級(jí)的項(xiàng)目

KV數(shù)據(jù)的序列化和反序列化存儲(chǔ)

Golang的基本語法

整個(gè)代碼量1000多行，基本的大框架也好理解，容易出現(xiàn)錯(cuò)誤的點(diǎn)在于代碼細(xì)節(jié)的處理（特別是wal文件的讀寫部分）

簡(jiǎn)介

內(nèi)存數(shù)據(jù)采用SkipList 存儲(chǔ)

通過WAL (Write Ahead Log)保證內(nèi)存數(shù)據(jù)durability和crash-safe能力

代碼邏輯結(jié)構(gòu)

先通過easydb.Open打開數(shù)據(jù)庫(kù)*DB對(duì)象；*DB內(nèi)部基于WAL恢復(fù)內(nèi)存數(shù)據(jù)openAllMemtables【就是讀取segment文件，解析出一個(gè)個(gè)LogRecord保存到skiplist中】，同時(shí)將內(nèi)存數(shù)據(jù)分成活躍內(nèi)存和不可變內(nèi)存【參考 LSM Tree結(jié)構(gòu)】。每個(gè)內(nèi)存對(duì)象*memtable內(nèi)部除了定義skiplist記錄內(nèi)存數(shù)據(jù)，同時(shí)定義*wal對(duì)象記錄磁盤，*wal對(duì)象中的磁盤文件按照指定的大小分段保存（這里類似kafka中日志數(shù)據(jù)文件分段原理）
然后調(diào)用 db.Put方法，內(nèi)部通過batch開啟寫事物（對(duì)db上鎖），將數(shù)據(jù)批量保存batch的pendingWrites中,然后在batch.Commit一次性全部保存到內(nèi)存和預(yù)寫日志中同時(shí)關(guān)閉寫事物（對(duì)db解鎖）
調(diào)用db.Get方法，內(nèi)部通過batch開啟讀事物（對(duì)db上鎖），讀取所有的內(nèi)存對(duì)象中的數(shù)據(jù)（倒序）方式，也就是從最近的內(nèi)存對(duì)象*memtable開始讀，讀取結(jié)束，提交事物(關(guān)閉讀事物，對(duì)db解鎖)

建議從下面 Open Get Put這幾個(gè)函數(shù)開始看起

package main
import (
	"fmt"
	"github.com/gofish2020/easydb"
	"github.com/gofish2020/easydb/utils"
)
// this file shows how to use the basic operations of EasyDB
func main() {
	// specify the options
	options := easydb.DefaultOptions
	options.DirPath = utils.ExecDir() + "/data"
	// open a database
	db, err := easydb.Open(options)
	if err != nil {
		panic(err)
	}
	deferfunc() {
		_ = db.Close()
	}()
	// put a key
	err = db.Put([]byte("name"), []byte("easydb"), nil)
	if err != nil {
		panic(err)
	}
	// get a key
	val, err := db.Get([]byte("name"))
	if err != nil {
		panic(err)
	}
	println(string(val))
	// delete a key
	err = db.Delete([]byte("name"), nil)
	if err != nil {
		panic(err)
	}
	// get a key
	val, err = db.Get([]byte("name"))
	if err != nil {
		if err == easydb.ErrKeyNotFound {
			fmt.Println("key not exist")
			return
		}
		panic(err)
	}
	println(string(val))
}

WAL日志格式

WAL日志文件按照SegmentSize分成一個(gè)個(gè)的段文件；

每個(gè)段文件，按照32KB為一塊存儲(chǔ)區(qū)域，存儲(chǔ) 多個(gè) chunk實(shí)際數(shù)據(jù)

每個(gè)chunk由 7 字節(jié)header + 數(shù)據(jù)payload 組成；header頭包括 4字節(jié)校驗(yàn)碼，2字節(jié)數(shù)據(jù)長(zhǎng)度 1字節(jié)數(shù)據(jù)類型；校驗(yàn)碼校驗(yàn)的范圍為：【length + type + payload】確保數(shù)據(jù)沒有損壞

一個(gè)數(shù)據(jù)可能由多個(gè)chunk組成