Python?tracemalloc跟蹤內(nèi)存分配問(wèn)題

更新時(shí)間：2023年11月09日 09:18:44 作者：Rnan-prince

這篇文章主要介紹了Python?tracemalloc跟蹤內(nèi)存分配問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

Python tracemalloc跟蹤內(nèi)存分配

tracemalloc 模塊是一個(gè)用于對(duì) python 已申請(qǐng)的內(nèi)存塊進(jìn)行debug的工具。

它能提供以下信息：

定位對(duì)象分配內(nèi)存的位置
按文件、按行統(tǒng)計(jì)python的內(nèi)存塊分配情況: 總大小、塊的數(shù)量以及塊平均大小。
對(duì)比兩個(gè)內(nèi)存快照的差異，以便排查內(nèi)存泄漏

顯示前10項(xiàng)

顯示內(nèi)存分配最多的10個(gè)文件：

import tracemalloc
 
tracemalloc.start()
# --- 業(yè)務(wù)代碼 start ---
n = 10000000
s = 0
for i in range(1, n):
    s *= i
# --- 業(yè)務(wù)代碼 end ---
snapshot = tracemalloc.take_snapshot()  # 內(nèi)存攝像
top_stats = snapshot.statistics('lineno')  # 內(nèi)存占用數(shù)據(jù)獲取
 
print('[Top 10]')
for stat in top_stats[:10]:  # 打印占用內(nèi)存最大的10個(gè)子進(jìn)程
    print(stat)
 
# [Top 10]
# D:/MyPython/tracemalloc/demo.py:5: size=576 B, count=1, average=576 B
# D:/MyPython/tracemalloc/demo.py:7: size=28 B, count=1, average=28 B

TOP1：代碼第五行占用內(nèi)存大小576B

計(jì)算差異

獲取兩個(gè)快照并顯示差異：

import tracemalloc
 
 
tracemalloc.start()
snapshot0 = tracemalloc.take_snapshot()  # 第一張快照
# --- 業(yè)務(wù)代碼 start ---
n = 10000000
s = 0
for i in range(1, n):
    s *= i
# --- 業(yè)務(wù)代碼 end ---
snapshot1 = tracemalloc.take_snapshot()  # 第二張快照
top_stats = snapshot1.compare_to(snapshot0, 'lineno')  # 快照對(duì)比
 
print('[Top 10 differences]')
for stat in top_stats[:10]:
    print(stat)
 
# [Top 10 differences]
# D:/MyPython/tracemalloc/demo.py:27: size=576 B (+576 B), count=1 (+1), average=576 B
# D:\Program Files\anaconda3\lib\tracemalloc.py:397: size=88 B (+88 B), count=2 (+2), average=44 B
# D:\Program Files\anaconda3\lib\tracemalloc.py:534: size=48 B (+48 B), count=1 (+1), average=48 B
# D:\Program Files\anaconda3\lib\tracemalloc.py:291: size=40 B (+40 B), count=1 (+1), average=40 B
# D:/MyPython/tracemalloc/demo.py:31: size=28 B (+28 B), count=1 (+1), average=28 B

TOP1：代碼第27行占用內(nèi)存大小增加了576B

tracemalloc分析內(nèi)存使用情況與泄露

概述

python內(nèi)存管理是通過(guò)引用計(jì)數(shù)執(zhí)行的，如果指向某個(gè)對(duì)象的引用全部過(guò)期，那么受引用的對(duì)象就可以從內(nèi)存中清除，從而給其他數(shù)據(jù)騰出空間。

理論上講，python開(kāi)發(fā)不用擔(dān)心程序如何分配和釋放內(nèi)存，因?yàn)閜ython系統(tǒng)本身以及Cpython運(yùn)行環(huán)境會(huì)自動(dòng)處理這些問(wèn)題。

但實(shí)際情況程序會(huì)因?yàn)闆](méi)有及時(shí)釋放不再需要引用的數(shù)據(jù)耗盡內(nèi)存。下面通過(guò)一些方法來(lái)看下內(nèi)存使用情況。

查看gc引用對(duì)象總數(shù)

下面是被測(cè)試代碼，這個(gè)代碼可以創(chuàng)建對(duì)象，在gc中產(chǎn)生引用對(duì)象。

import os

class MyObject:
    def __init__(self):
        self.data = os.urandom(100)

def get_data():
    values = []
    for _ in range(100):
        obj = MyObject()
        values.append(obj)
    return values

def run():
    deep_values = []
    for _ in range(100):
        deep_values.append(get_data())
    return

下面的代碼用來(lái)輸出當(dāng)前gc引用對(duì)象的數(shù)量

import gc

# 獲取運(yùn)行前gc引用對(duì)象數(shù)量
found_objects = gc.get_objects()
print('Before:', len(found_objects))

# 導(dǎo)入待測(cè)試模塊
import waste_memory

# 運(yùn)行待測(cè)試代碼的函數(shù)
hold_reference = waste_memory.run()

# 獲取運(yùn)行代碼后gc引用對(duì)象數(shù)量
found_objects = gc.get_objects()
print('After: ', len(found_objects))
for obj in found_objects[:5]:
    print(repr(obj)[:100])

print('...')

運(yùn)行上面的代碼，下面是gc引用的對(duì)象總數(shù)。

Before: 28834
After:  28923

tracemalloc查看內(nèi)存分配情況

1.查看內(nèi)存分配情況

上面只輸出了gc的總數(shù)，對(duì)于分析內(nèi)存分配情況沒(méi)有太多的指導(dǎo)意義，tracemalloc模塊能夠追溯到分配它的位置，因此我們可以在之前模塊前后對(duì)內(nèi)存使用情況做個(gè)快照，分析兩個(gè)快照之間的區(qū)別。

下面是被測(cè)試代碼

import tracemalloc

tracemalloc.start(10)                      # Set stack depth
time1 = tracemalloc.take_snapshot()        # Before snapshot

import waste_memory

x = waste_memory.run()                     # Usage to debug
time2 = tracemalloc.take_snapshot()        # After snapshot

stats = time2.compare_to(time1, 'lineno')  # Compare snapshots
for stat in stats[:3]:
    print(stat)

運(yùn)行上面的代碼，從結(jié)果中可以看出，每一條記錄都有size與count指標(biāo)，用來(lái)表示這行代碼所分配的對(duì)象占用多少內(nèi)存，以及對(duì)象的數(shù)量。通過(guò)對(duì)比就能發(fā)現(xiàn)占用內(nèi)存較多的對(duì)象是由那幾行代碼分配的。

/waste_memory.py:11: size=5120 B (+5120 B), count=80 (+80), average=64 B
/waste_memory.py:14: size=4424 B (+4424 B), count=79 (+79), average=56 B
/waste_memory.py:9: size=1704 B (+1704 B), count=8 (+8), average=213 B

2.查看棧信息

tracemalloc還可以打印棧的追蹤信息，下面把程序中分配內(nèi)存最多的那行代碼所對(duì)應(yīng)的棧追蹤信息打印出來(lái)，看看程序是沿著哪條路徑觸發(fā)這行代碼的。

import tracemalloc

tracemalloc.start(10)
time1 = tracemalloc.take_snapshot()

import waste_memory

x = waste_memory.run()
time2 = tracemalloc.take_snapshot()

stats = time2.compare_to(time1, 'traceback')
top = stats[0]
print('Biggest offender is:')
# 打印棧信息
print('\n'.join(top.traceback.format()))

運(yùn)行上面的代碼

Biggest offender is:
  File "/with_trace.py", line 14
    x = waste_memory.run()
  File "/waste_memory.py", line 23
    deep_values.append(get_data())
  File "/waste_memory.py", line 16
    obj = MyObject()
  File "/waste_memory.py", line 11
    self.data = os.urandom(100)