腳本之家服務器常用軟件

快捷導航

Golang?pprof性能測試與分析講解

更新時間：2023年04月04日 11:37:02 作者：qq_42170897

剛開始接觸go就遇到了一個內(nèi)存問題,在進行內(nèi)存分析的時候發(fā)現(xiàn)了一下比較好的工具,在此留下記錄,下面這篇文章主要給大家介紹了關于go性能分析工具pprof的性能測試,需要的朋友可以參考下

一、性能分析類型

1.CPU性能分析

CPU性能分析是最常見的性能分析類型。啟動CPU分析時，運行時每隔10ms中斷一次，采集正在運行協(xié)程的堆棧信息。

程序運行結束后，可以根據(jù)收集的數(shù)據(jù)，找到最熱代碼路徑。

一個函數(shù)在分析階段出現(xiàn)的次數(shù)越多，則該函數(shù)的代碼路徑(code path)花費的時間占總運行時間的比重越大。

2.內(nèi)存性能分析

內(nèi)存性能分析記錄堆內(nèi)存分配信息，忽略棧內(nèi)存的分配。

內(nèi)存分析啟動時，默認每1000次采樣1次，這個比例是可以調整的。因為內(nèi)存性能分析是基于采樣的，因此基于內(nèi)存分析數(shù)據(jù)來判斷程序所有的內(nèi)存使用情況是很困難的。

3.阻塞性能分析

阻塞性能分析是go特點的。

阻塞性能分析用來記錄一個協(xié)程用來等待共享資源所花費的時間，這用來判斷程序并發(fā)瓶頸是很有用。阻塞的場景包括：

在沒有緩沖的信道上發(fā)送或接受數(shù)據(jù)。
在空的信道上接受數(shù)據(jù)或在滿的信道上發(fā)送數(shù)據(jù)。
嘗試獲取一個已被其他協(xié)程占用的排他鎖。

一般情況下，當所有的 CPU 和內(nèi)存瓶頸解決后，才會考慮這一類分析。

二、cpu性能分析

1.生成pporf

go 性能分析接口位于runtime/pprof 中：

測試代碼：生成5組數(shù)據(jù)，進行冒泡排序：

main.go

// main.go
package main
import (
	"math/rand"
	"time"
)
func generate(n int) []int {
	rand.Seed(time.Now().UnixNano())
	nums := make([]int, 0)
	for i := 0; i < n; i++ {
		nums = append(nums, rand.Int())
	}
	return nums
}
func bubbleSort(nums []int) {
	for i := 0; i < len(nums); i++ {
		for j := 1; j < len(nums)-i; j++ {
			if nums[j] < nums[j-1] {
				nums[j], nums[j-1] = nums[j-1], nums[j]
			}
		}
	}
}
func main() {
	n := 10
	for i := 0; i < 5; i++ {
		nums := generate(n)
		bubbleSort(nums)
		n *= 10
	}
}

想要度量這段代碼的性能，只需要在main函數(shù)最前加兩行代碼：

main()

import (
	"math/rand"
	"os"
	"runtime/pprof"
	"time"
)
func main() {
	pprof.StartCPUProfile(os.Stdout)
	defer pprof.StopCPUProfile()
	n := 10
	for i := 0; i < 5; i++ {
		nums := generate(n)
		bubbleSort(nums)
		n *= 10
	}
}

go run main.go > cpu.pprof

當然也可以將輸出直接導入到文件中：

2.分析數(shù)據(jù)

此時得到cpu.pprof 文件：

go tool pprof -http=:9999 cpu.pprof 如果提升Graphviz沒有安裝： apt installgraphviz (ubuntu)

訪問localhost:9999 得到：

除了在網(wǎng)頁中查看外，還可以使用交互式命令進行查看：

go tool pprof cpu.pprof

使用top 查看到 bubbleSort函數(shù)占用cpu最多。

還可以使用top --cum，按照cum(累計消耗)排序：

使用help 查看幫助：

三、內(nèi)存性能分析

下面為一段字符串拼接代碼，我們對它進行內(nèi)存分析：

package main
import (
	"math/rand"
	"github.com/pkg/profile"
)
const letterBytes = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
func randomString(n int) string {
	b := make([]byte, n)
	for i := range b {
		b[i] = letterBytes[rand.Intn(len(letterBytes))]
	}
	return string(b)
}
func concat(n int) string {
	s := ""
	for i := 0; i < n; i++ {
		s += randomString(n)
	}
	return s
}
func main() {
	concat(100)
}

我們使用另外一個性能分析庫"github.com/pkg/profile" 它內(nèi)部封裝了 runtime/pprof 接口，使用起來更加簡單。

cpu性能分析：

defer profile.Start().Stop()

內(nèi)存性能分析：

defer profile.Start(profile.MemProfile, profile.MemProfileRate(1)).Stop()

profile包會自動在/tmp目錄下生成profile文件

go tool pprof -http=:9999 /tmp/profile575547387/mem.pprof

可以看見concat 消耗了 524 KB, 而randomString消耗了 21KB,為什么相差這么大呢？

因為go中的字符串不可修改，使用+ 連接字符串會導致重新生成新的字符串，將 + 兩邊的子字符串拷貝到新的字符串去。那這種設計多次字符串拼接的場景該如何優(yōu)化呢？使用strings.Builder

優(yōu)化后的代碼：

package main
import (
	"math/rand"
	"strings"
	"github.com/pkg/profile"
)
const letterBytes = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
func randomString(n int) string {
	b := make([]byte, n)
	for i := range b {
		b[i] = letterBytes[rand.Intn(len(letterBytes))]
	}
	return string(b)
}
func concat(n int) string {
	sb := new(strings.Builder)
	for i := 0; i < n; i++ {
		sb.WriteString(randomString(n))
	}
	return sb.String()
}
func main() {
	defer profile.Start(profile.MemProfile, profile.MemProfileRate(1)).Stop()
	concat(100)
}

優(yōu)化后可以看到concat 函數(shù)使用了71KB 內(nèi)存，randomString函數(shù)使用了 21kb 內(nèi)存。

四、benchmark 生成 profile

使用benchmark 進行基準測試時，除了直接查看結果，還可以生成profile

testing支持cpu、mem、block

-cpuprofile=$FILE
-memprofile=$FILE, -memprofilerate=N 調整記錄速率為原來的 1/N。
-blockprofile=$FILE

fib_test.go

package fib
import "testing"
func fib(n int) int {
	if n == 0 || n == 1 {
		return n
	}
	return fib(n-2) + fib(n-1)
}
func BenchmarkFib(b *testing.B) {
	for n := 0; n < b.N; n++ {
		fib(30) // run fib(30) b.N times
	}
}