Python實現(xiàn)內存泄露排查的示例詳解

更新時間：2023年01月21日 10:13:34 作者：Sir?老王

一般在python代碼塊的調試過程中會使用memory-profiler、filprofiler、objgraph等三種方式進行輔助分析，今天這里主要介紹使用objgraph對象提供的函數接口來進行內存泄露的分析，感興趣的可以了解一下

一般情況下只有需要長期運行的項目才會去關注內存的增長情況，即使是很小部分的內存泄露經過長期的運行仍然會產生很大的隱患。

python本身也是支持垃圾的自動回收的，但是在特定的情況下也是會出現(xiàn)內存泄露的問題的。

比如對于很多全局的列表(list)/字典(dict)等對象在經過不斷的數據賦值而沒有進行手動回收，或者某些對象被不停的循環(huán)引用而不能及時的進行回收等都會產生內存泄露的情況。

一般在python代碼塊的調試過程中會使用memory-profiler、filprofiler、objgraph等三種方式進行輔助分析，今天這里主要介紹使用objgraph對象提供的函數接口來進行內存泄露的分析。

objgraph是python的非標準模塊，因此需要使用pip的方式安裝一下。

pip?install?objgraph

更多詳細的介紹可以訪問下面的官方地址進行查看。

https://mg.pov.lt/objgraph/

接下來就可以直接將objgraph導入到我們的代碼塊中進行使用了。

#?Importing?the?objgraph?module?and?renaming?it?to?graph.
import?objgraph?as?graph

這里初始化一組字典類型的數據對象。

dict_?=?{
????'姓名':?['Python',?'Java',?'Scala'],
????'年齡':?['21',?'22',?'19']
}

通過objgraph.count()函數，可以統(tǒng)計出GC中的dict_對象的數目是多少。

#?Counting?the?number?of?dict_?objects?in?the?GC.
print(graph.count(dict_))

和objgraph.count()函數對應的是可以使用by_type返回該對象在GC中的列表，若是GC返回的為空的列表說明已經被回收了。

#?Returning?a?list?of?dict_?objects?in?the?GC.
print(graph.by_type(dict_))

在統(tǒng)計內存泄露時比較好用的函數就是graph.show_growth()函數，可以統(tǒng)計自上次調用以來增加得最多的對象。

#?Showing?the?growth?of?objects?in?the?memory?since?the?last?time?it?was?called.
print(graph.show_growth())

#?function???????????????????????3013?????+3013
#?tuple??????????????????????????1463?????+1463
#?dict???????????????????????????1417?????+1417
#?wrapper_descriptor?????????????1178?????+1178
#?ReferenceType???????????????????883??????+883
#?method_descriptor???????????????814??????+814
#?builtin_function_or_method??????794??????+794
#?getset_descriptor???????????????514??????+514
#?type????????????????????????????463??????+463
#?list????????????????????????????436??????+436
#?None

可以根據返回結果中的對象每次增加的數量來判斷內存泄露的相關情況。

還有一個比較常用的分析函數就是graph.show_most_common_types()，可以按照從大到小的方式列出對象實例比較多的情況。

#?Showing?the?most?common?types?of?objects?in?the?memory.
print(graph.show_most_common_types())

#?function???????????????????3013
#?tuple??????????????????????1463
#?dict???????????????????????1417
#?wrapper_descriptor?????????1178
#?ReferenceType??????????????883
#?method_descriptor??????????814
#?builtin_function_or_method?794
#?getset_descriptor??????????514
#?type???????????????????????463
#?list???????????????????????436
#?None

最后一個比較使用函數就是show_backrefs函數，使用它可以分析出內存泄露的原因是什么。

它會生成一張有關objs的引用圖，可以看出對象為什么不釋放？只是調用該函數時的參數比較多，下面是該函數的接口。

#?def?show_backrefs(objs,?max_depth=3,?extra_ignore=(),?filter=None,?too_many=10,
#???????????????????highlight=None,?filename=None,?extra_info=None,
#???????????????????refcounts=False,?shortnames=True,?output=None,
#???????????????????extra_node_attrs=None):

我們還是和上面一樣使用dict_作為對象進行分析。

#?Showing?the?back?references?of?the?dict_?object.
graph.show_backrefs(dict_)

執(zhí)行完成后dot類型的圖片已經生成了，發(fā)現(xiàn)出現(xiàn)了下面的錯誤，意思是沒有發(fā)現(xiàn)支持dot的圖像組件。

#?Graph?written?to?C:\Users\86159\AppData\Local\Temp\objgraph-dkqm85f0.dot?(4?nodes)
#?Graph?viewer?(xdot)?and?image?renderer?(dot)?not?found,?not?doing?anything?else

可以使用pip的方式分別安裝graphviz xdot，這兩個python的非標準模塊。