.net core在新增的System.Buffers中引入了一大堆高效內(nèi)存管理的類，如span和memory、內(nèi)存池。本文今天這里介紹一個(gè)高效動(dòng)態(tài)內(nèi)存訪問(wèn)方案。

ReadOnlySequenceSegment<T>

在我們讀取數(shù)據(jù)的過(guò)程，很多時(shí)候會(huì)出現(xiàn)如下場(chǎng)景：

• 不知道數(shù)據(jù)實(shí)際大小

• 一次性申請(qǐng)大量?jī)?nèi)存開(kāi)銷太大

此時(shí)我們往往會(huì)使用動(dòng)態(tài)內(nèi)存的方案，通過(guò)鏈表的方式串聯(lián)起來(lái)，從而形成邏輯意義上的數(shù)據(jù)流。如下圖所示：

ReadOnlySequenceSegment<T>就是這樣一個(gè)表示數(shù)據(jù)流節(jié)點(diǎn)的內(nèi)存模型，它是一個(gè)抽象類，包含如下三個(gè)元素：

• Memory：指向所包含的內(nèi)存

• Next：指向下一個(gè)節(jié)點(diǎn)

• RunningIndex：標(biāo)志當(dāng)前節(jié)點(diǎn)在整個(gè)流的位置

其中Memory和Next還比較容易理解，典型的鏈表結(jié)構(gòu)。主要難理解的是RunningIndex，他表示該節(jié)點(diǎn)在數(shù)據(jù)流中的Memory起始索引。

一般的來(lái)講，某節(jié)點(diǎn)的RunningIndex為其上一個(gè)節(jié)點(diǎn)的RunningIndex + Memory.Length。加上RunningIndex估計(jì)主要是為了快速索引的。

例如：對(duì)于如下3快內(nèi)存 100byte， 200byte， 300byte組成的鏈表，其RunningIndex分別是0， 100， 200。

另外，在實(shí)際的使用過(guò)程中，往往是不停的釋放鏈表頭部的節(jié)點(diǎn)，并且在尾部添加新節(jié)點(diǎn)。 RunningIndex表示的索引一般是邏輯意義上的索引，在釋放頭節(jié)點(diǎn)時(shí)，一般不用更新其子節(jié)點(diǎn)以及后續(xù)節(jié)點(diǎn)的RunningIndex。

ReadOnlySequence<T>

ReadOnlySequenceSegment<T>雖然能解決我們的動(dòng)態(tài)內(nèi)存的申請(qǐng)和釋放問(wèn)題，但它往往并不好用，因?yàn)楹苋菀壮霈F(xiàn)一段連續(xù)的數(shù)據(jù)被分割在多個(gè)節(jié)點(diǎn)的情況，在這段不連續(xù)的數(shù)據(jù)里進(jìn)行查詢是非常不便的。

為了解決這個(gè)問(wèn)題，.net core中推出了一個(gè)視圖類ReadOnlySequence<T>

ReadOnlySequence<T>由兩個(gè)屬性標(biāo)記：

• Start： 起始SequenceSegment以及起始索引

• End： 結(jié)尾SequenceSegment以及結(jié)尾索引

可以通過(guò)foreach遍歷各節(jié)點(diǎn)的Memory

　　var seq = new ReadOnlySequence<byte>();
　　foreach (ReadOnlyMemory<byte> memory in seq)
　　{
　　}

ReadOnlySequence的主要優(yōu)勢(shì)在于，它可以看成一段邏輯意義上的連續(xù)內(nèi)存，常用的函數(shù)有：

• Slice：對(duì)視圖數(shù)據(jù)切片

• PositionOf：查詢?cè)氐目s影

• ToArray：轉(zhuǎn)換成數(shù)組

其中的ToArray涉及到大量的數(shù)據(jù)拷貝，需要謹(jǐn)慎使用。

另外.net core 3.0中還內(nèi)置了一個(gè)SequenceReader，用起來(lái)是十分方便的： 

private static ReadOnlySpan<byte> CRLF => new byte[] { (byte)'\r', (byte)'\n' };
 
public static void ReadLines(ReadOnlySequence<byte> sequence)
{
    SequenceReader<byte> reader = new SequenceReader<byte>(sequence);
 
    while (!reader.End)
    {
        if (!reader.TryReadToAny(out ReadOnlySpan<byte> line, CRLF, advancePastDelimiter: false))
        {
            // Couldn't find another delimiter
            // ...
        }
 
        if (!reader.IsNext(CRLF, advancePast: true))
        {
            // Not a good CR/LF pair
            // ...
        }
 
        // line is valid, process
        ProcessLine(line);
    }
}

如何使用

用過(guò)System.IO.Pipelines的朋友就知道，ReadOnlySequence在該庫(kù)中是非常好用的。但如果我們想創(chuàng)建一個(gè)ReadOnlySequence，發(fā)現(xiàn)并不是那么容易，因?yàn)椋?/p>

• ReadOnlySequence依賴于ReadOnlySequenceSegment

• ReadOnlySequenceSegment是抽象類，需要自己繼承

也就是說(shuō)我們需要自己實(shí)現(xiàn)ReadOnlySequenceSegment<T>，然后再將其封裝到ReadOnlySequence中，目前.net core中并沒(méi)有內(nèi)置實(shí)現(xiàn)可能是因?yàn)樵诟咝?nèi)存管理的方案中并沒(méi)有什么通用的解決方案吧。

如果我們要自己實(shí)現(xiàn)ReadOnlySequence，一般需要如下幾個(gè)步驟：

• 繼承ReadOnlySequenceSegment類，實(shí)現(xiàn)自己的SequenceSegment

• 在申請(qǐng)內(nèi)存過(guò)程中，創(chuàng)建SequenceSegment，并將其掛成鏈表

• 使用數(shù)據(jù)時(shí)，在該鏈表中創(chuàng)建ReadOnlySequence

• 當(dāng)SequenceSegment節(jié)點(diǎn)的內(nèi)存使用完成的時(shí)候，從鏈表中接觸該節(jié)點(diǎn)，并釋放內(nèi)存。

簡(jiǎn)單來(lái)說(shuō)就是如下幾種操作：

• 數(shù)據(jù)讀?。?創(chuàng)建SequenceSegment

• 數(shù)據(jù)使用： 在SequenceSegment鏈表上創(chuàng)建ReadOnlySequence

• 使用完成： 釋放SequenceSegment

如果要更進(jìn)一步優(yōu)化，在SequenceSegment中的內(nèi)存申請(qǐng)和釋放可以使用內(nèi)存池。

到此這篇關(guān)于.net core動(dòng)態(tài)內(nèi)存管理方案的文章就介紹到這了。希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論