Go 高效截取字符串的一些思考

更新時(shí)間：2019年10月31日 09:47:54 作者：thinkeridea

這篇文章主要介紹了Go 高效截取字符串的一些思考，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧

最近我在Go Forum 中發(fā)現(xiàn)了String size of 20 character 的問(wèn)題，“hollowaykeanho” 給出了相關(guān)的答案，而我從中發(fā)現(xiàn)了截取字符串的方案并非最理想的方法，因此做了一系列實(shí)驗(yàn)并獲得高效截取字符串的方法，這篇文章將逐步講解我實(shí)踐的過(guò)程。

字節(jié)切片截取

這正是 “hollowaykeanho” 給出的第一個(gè)方案，我想也是很多人想到的第一個(gè)方案，利用 go 的內(nèi)置切片語(yǔ)法截取字符串：

s := "abcdef"
fmt.Println(s[1:4])

我們很快就了解到這是按字節(jié)截取，在處理 ASCII 單字節(jié)字符串截取，沒有什么比這更完美的方案了，中文往往占多個(gè)字節(jié)，在 utf8 編碼中是3個(gè)字節(jié)，如下程序我們將獲得亂碼數(shù)據(jù)：

s := "Go 語(yǔ)言"
fmt.Println(s[1:4])

殺手锏 - 類型轉(zhuǎn)換 []rune

“hollowaykeanho” 給出的第二個(gè)方案就是將字符串轉(zhuǎn)換為 []rune，然后按切片語(yǔ)法截取，再把結(jié)果轉(zhuǎn)成字符串。

s := "Go 語(yǔ)言"
rs := []rune(s)
fmt.Println(strings(rs[1:4]))

首先我們得到了正確的結(jié)果，這是最大的進(jìn)步。不過(guò)我對(duì)類型轉(zhuǎn)換一直比較謹(jǐn)慎，我擔(dān)心它的性能問(wèn)題，因此我嘗試在搜索引擎和各大論壇查找答案，但是我得到最多的還是這個(gè)方案，似乎這已經(jīng)是唯一的解。

我嘗試寫個(gè)性能測(cè)試評(píng)測(cè)它的性能：

package benchmark

import (
  "testing"
)

var benchmarkSubString = "Go語(yǔ)言是Google開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型、并發(fā)型，并具有垃圾回收功能的編程語(yǔ)言。為了方便搜索和識(shí)別，有時(shí)會(huì)將其稱為Golang。"
var benchmarkSubStringLength = 20

func SubStrRunes(s string, length int) string {
  if utf8.RuneCountInString(s) > length {
    rs := []rune(s)
    return string(rs[:length])
  }

  return s
}

func BenchmarkSubStrRunes(b *testing.B) {
  for i := 0; i < b.N; i++ {
    SubStrRunes(benchmarkSubString, benchmarkSubStringLength)
  }
}

我得到了讓我有些吃驚的結(jié)果：

goos: darwin
goarch: amd64
pkg: github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark
BenchmarkSubStrRunes-8      872253       1363 ns/op       336 B/op     2 allocs/op
PASS
ok   github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark   2.120s

對(duì) 69 個(gè)的字符串截取前 20 個(gè)字符需要大概 1.3 微秒，這極大的超出了我的心里預(yù)期，我發(fā)現(xiàn)因?yàn)轭愋娃D(zhuǎn)換帶來(lái)了內(nèi)存分配，這產(chǎn)生了一個(gè)新的字符串，并且類型轉(zhuǎn)換需要大量的計(jì)算。

救命稻草 - utf8.DecodeRuneInString

我想改善類型轉(zhuǎn)換帶來(lái)的額外運(yùn)算和內(nèi)存分配，我仔細(xì)的梳理了一遍 strings 包，發(fā)現(xiàn)并沒有相關(guān)的工具，這時(shí)我想到了 utf8 包，它提供了多字節(jié)計(jì)算相關(guān)的工具，實(shí)話說(shuō)我對(duì)它并不熟悉，或者說(shuō)沒有主動(dòng)（直接）使用過(guò)它，我查看了它所有的文檔發(fā)現(xiàn) utf8.DecodeRuneInString 函數(shù)可以轉(zhuǎn)換單個(gè)字符，并給出字符占用字節(jié)的數(shù)量，我嘗試了如此下的實(shí)驗(yàn)：

package benchmark

import (
  "testing"
  "unicode/utf8"
)

var benchmarkSubString = "Go語(yǔ)言是Google開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型、并發(fā)型，并具有垃圾回收功能的編程語(yǔ)言。為了方便搜索和識(shí)別，有時(shí)會(huì)將其稱為Golang。"
var benchmarkSubStringLength = 20

func SubStrDecodeRuneInString(s string, length int) string {
  var size, n int
  for i := 0; i < length && n < len(s); i++ {
    _, size = utf8.DecodeRuneInString(s[n:])
    n += size
  }

  return s[:n]
}

func BenchmarkSubStrDecodeRuneInString(b *testing.B) {
  for i := 0; i < b.N; i++ {
    SubStrDecodeRuneInString(benchmarkSubString, benchmarkSubStringLength)
  }
}

運(yùn)行它之后我得到了令我驚喜的結(jié)果：

goos: darwin
goarch: amd64
pkg: github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark
BenchmarkSubStrDecodeRuneInString-8   10774401        105 ns/op        0 B/op     0 allocs/op
PASS
ok   github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark   1.250s

較 []rune 類型轉(zhuǎn)換效率提升了 13倍，消除了內(nèi)存分配，它的確令人激動(dòng)和興奮，我迫不及待的回復(fù)了 “hollowaykeanho” 告訴他我發(fā)現(xiàn)了一個(gè)更好的方法，并提供了相關(guān)的性能測(cè)試。

我有些小激動(dòng)，興奮的瀏覽著論壇里各種有趣的問(wèn)題，在查看一個(gè)問(wèn)題的幫助時(shí) (忘記是哪個(gè)問(wèn)題了-_-||) ，我驚奇的發(fā)現(xiàn)了另一個(gè)思路。

良藥不一定苦 - range 字符串迭代

許多人似乎遺忘了 range 是按字符迭代的，并非字節(jié)。使用 range 迭代字符串時(shí)返回字符起始索引和對(duì)應(yīng)的字符，我立刻嘗試?yán)眠@個(gè)特性編寫了如下用例：

package benchmark

import (
  "testing"
)

var benchmarkSubString = "Go語(yǔ)言是Google開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型、并發(fā)型，并具有垃圾回收功能的編程語(yǔ)言。為了方便搜索和識(shí)別，有時(shí)會(huì)將其稱為Golang。"
var benchmarkSubStringLength = 20

func SubStrRange(s string, length int) string {
  var n, i int
  for i = range s {
    if n == length {
      break
    }

    n++
  }

  return s[:i]
}

func BenchmarkSubStrRange(b *testing.B) {
  for i := 0; i < b.N; i++ {
    SubStrRange(benchmarkSubString, benchmarkSubStringLength)
  }
}

我嘗試運(yùn)行它，這似乎有著無(wú)窮的魔力，結(jié)果并沒有令我失望。

goos: darwin
goarch: amd64
pkg: github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark
BenchmarkSubStrRange-8     12354991        91.3 ns/op       0 B/op     0 allocs/op
PASS
ok   github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark   1.233s

它僅僅提升了13%，但它足夠的簡(jiǎn)單和易于理解，這似乎就是我苦苦尋找的那味良藥。

如果你以為這就結(jié)束了，不、這對(duì)我來(lái)只是探索的開始。

終極時(shí)刻 - 自己造輪子

喝了 range 那碗甜的膩人的良藥，我似乎冷靜下來(lái)了，我需要造一個(gè)輪子，它需要更易用，更高效。

于是乎我仔細(xì)觀察了兩個(gè)優(yōu)化方案，它們似乎都是為了查找截取指定長(zhǎng)度字符的索引位置，如果我可以提供一個(gè)這樣的方法，是否就可以提供用戶一個(gè)簡(jiǎn)單的截取實(shí)現(xiàn) s[:strIndex(20)] ，這個(gè)想法萌芽之后我就無(wú)法再度擺脫，我苦苦思索兩天來(lái)如何來(lái)提供易于使用的接口。

之后我創(chuàng)造了exutf8.RuneIndexInString 和 exutf8.RuneIndex 方法，分別用來(lái)計(jì)算字符串和字節(jié)切片中指定字符數(shù)量結(jié)束的索引位置。

我用 exutf8.RuneIndexInString 實(shí)現(xiàn)了一個(gè)字符串截取測(cè)試：

package benchmark

import (
  "testing"
  "unicode/utf8"

  "github.com/thinkeridea/go-extend/exunicode/exutf8"
)

var benchmarkSubString = "Go語(yǔ)言是Google開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型、并發(fā)型，并具有垃圾回收功能的編程語(yǔ)言。為了方便搜索和識(shí)別，有時(shí)會(huì)將其稱為Golang。"
var benchmarkSubStringLength = 20

func SubStrRuneIndexInString(s string, length int) string {
  n, _ := exutf8.RuneIndexInString(s, length)
  return s[:n]
}

func BenchmarkSubStrRuneIndexInString(b *testing.B) {
  for i := 0; i < b.N; i++ {
    SubStrRuneIndexInString(benchmarkSubString, benchmarkSubStringLength)
  }
}

嘗試運(yùn)行它，我對(duì)結(jié)果感到十分欣慰：

goos: darwin
goarch: amd64
pkg: github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark
BenchmarkSubStrRuneIndexInString-8   13546849        82.4 ns/op       0 B/op     0 allocs/op
PASS
ok   github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark   1.213s

性能較 range 提升了 10%，讓我很欣慰可以再次獲得新的提升，這證明它是有效的。

它足夠的高效，但是卻不夠易用，我截取字符串需要兩行代碼，如果我想截取 10~20之間的字符就需要4行代碼，這并不是用戶易于使用的接口，我參考了其它語(yǔ)言的 sub_string 方法，我想我應(yīng)該也設(shè)計(jì)一個(gè)這個(gè)樣的接口給用戶。

exutf8.RuneSubString 和 exutf8.RuneSub 是我認(rèn)真思索后編寫的方法：

func RuneSubString(s string, start, length int) string

它有三個(gè)參數(shù)：

s : 輸入的字符串
start : 開始截取的位置，如果 start 是非負(fù)數(shù)，返回的字符串將從 string 的 start 位置開始，從 0 開始計(jì)算。例如，在字符串 “abcdef” 中，在位置 0 的字符是 “a”，位置 2 的字符串是 “c” 等等。如果 start 是負(fù)數(shù)，返回的字符串將從 string 結(jié)尾處向前數(shù)第 start 個(gè)字符開始。如果 string 的長(zhǎng)度小于 start，將返回空字符串。
length：截取的長(zhǎng)度，如果提供了正數(shù)的 length，返回的字符串將從 start 處開始最多包括 length 個(gè)字符（取決于 string 的長(zhǎng)度）。如果提供了負(fù)數(shù)的 length，那么 string 末尾處的 length 個(gè)字符將會(huì)被省略（若 start 是負(fù)數(shù)則從字符串尾部算起）。如果 start 不在這段文本中，那么將返回空字符串。如果提供了值為 0 的 length，返回的子字符串將從 start 位置開始直到字符串結(jié)尾。

我為他們提供了別名，根據(jù)使用習(xí)慣大家更傾向去 strings 包尋找這類問(wèn)題的解決方法，我創(chuàng)建了exstrings.SubString 和 exbytes.Sub 作為更易檢索到的別名方法。

最后我需要再做一個(gè)性能測(cè)試，確保它的性能：

package benchmark

import (
  "testing"

  "github.com/thinkeridea/go-extend/exunicode/exutf8"
)

var benchmarkSubString = "Go語(yǔ)言是Google開發(fā)的一種靜態(tài)強(qiáng)類型、編譯型、并發(fā)型，并具有垃圾回收功能的編程語(yǔ)言。為了方便搜索和識(shí)別，有時(shí)會(huì)將其稱為Golang。"
var benchmarkSubStringLength = 20

func SubStrRuneSubString(s string, length int) string {
  return exutf8.RuneSubString(s, 0, length)
}

func BenchmarkSubStrRuneSubString(b *testing.B) {
  for i := 0; i < b.N; i++ {
    SubStrRuneSubString(benchmarkSubString, benchmarkSubStringLength)
  }
}

運(yùn)行它，不會(huì)讓我失望：

goos: darwin
goarch: amd64
pkg: github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark
BenchmarkSubStrRuneSubString-8     13309082        83.9 ns/op       0 B/op     0 allocs/op
PASS
ok   github.com/thinkeridea/go-extend/exunicode/exutf8/benchmark   1.215s

雖然相較 exutf8.RuneIndexInString 有所下降，但它提供了易于交互和使用的接口，我認(rèn)為這應(yīng)該是最實(shí)用的方案，如果你追求極致仍然可以使用 exutf8.RuneIndexInString，它依然是最快的方案。

總結(jié)

當(dāng)看到有疑問(wèn)的代碼，即使它十分的簡(jiǎn)單，依然值得深究，并不停的探索它，這并不枯燥和乏味，反而會(huì)有極多收獲。

從起初 []rune 類型轉(zhuǎn)換到最后自己造輪子，不僅得到了16倍的性能提升，我還學(xué)習(xí)了utf8包、加深了range 遍歷字符串的特性以及為 go-extend 倉(cāng)庫(kù)收錄了多個(gè)實(shí)用高效的解決方案，讓更多go-extend 的用戶得到成果。

go-extend 是一個(gè)收錄實(shí)用、高效方法的倉(cāng)庫(kù)，讀者們?nèi)绻玫暮瘮?shù)和通用高效的解決方案，期待你們不吝嗇給我發(fā)送 Pull request，你也可以使用這個(gè)倉(cāng)庫(kù)加快功能實(shí)現(xiàn)及提升性能。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: