引子

之前一直盲目的認(rèn)為 Python 不會存在內(nèi)存泄露, 但是眼看著上線的項(xiàng)目隨著運(yùn)行時(shí)間的增長 而越來越大的內(nèi)存占用, 我意識到我寫的程序在發(fā)生內(nèi)存泄露, 之前 debug 過 logging 模塊導(dǎo)致的內(nèi)存泄露.

目前看來, 還有別的地方引起的內(nèi)存泄露. 經(jīng)過一天的奮戰(zhàn), 終于找到了內(nèi)存泄露的地方, 目前項(xiàng)目 跑了很長時(shí)間, 在業(yè)務(wù)量較小的時(shí)候內(nèi)存還是能回到剛啟動(dòng)的時(shí)候的內(nèi)存占用.
什么情況下不用這么麻煩

如果你的程序只是跑一下就退出大可不必大費(fèi)周章的去查找是否有內(nèi)存泄露, 因?yàn)?Python 在退出時(shí) 會釋放它所分配的所有內(nèi)存, 如果你的程序需要連續(xù)跑很長時(shí)間那么就要仔細(xì)的查找是否 產(chǎn)生了內(nèi)存泄露.
場景

如何產(chǎn)生的內(nèi)存泄露呢, 項(xiàng)目是一個(gè) TCP server, 每當(dāng)有連接過來時(shí)都會創(chuàng)建一個(gè)連接實(shí)例來進(jìn)行 管理, 每次斷開時(shí)連接實(shí)例還被占用并沒有釋放. 沒有被釋放的原因肯定是因?yàn)橛心硞€(gè)地方對連接 實(shí)例的引用沒有釋放, 所以隨著時(shí)間的推移, 連接創(chuàng)建分配內(nèi)存, 連接斷開并沒有釋放掉內(nèi)存, 所以 就會產(chǎn)生內(nèi)存泄露.
調(diào)試方法

由于不知道具體是哪里引起的內(nèi)存泄露, 所以要耐心的一點(diǎn)點(diǎn)調(diào)試.

由于知道了斷開連接時(shí)沒有釋放, 所以我就不停的模擬創(chuàng)建連接然后發(fā)送一些包后斷開連接, 然后通過下面一行 shell 來觀察內(nèi)存占用情況:

PID=50662;while true; do; ps aux | grep $PID | grep -v grep | awk '{print $5" "$6}' >> t; sleep 1; done

如果在增長了一定的量后保持住就說明已經(jīng)沒有產(chǎn)生泄露.

同時(shí)可以在對象該釋放的時(shí)候查看對象的引用計(jì)數(shù), 通過 sys.getrefcount(obj). 如果引用計(jì)數(shù)變?yōu)榱?2 則說明該對象在跳出命名空間后就會被正確回收.
產(chǎn)生原因

項(xiàng)目中兩種情況導(dǎo)致對象沒有被正確回收:

•     被退出才回收的對象引用
•     交叉引用

被退出才回收的對象引用

為了追蹤連接所以把連接對象同時(shí)放在一個(gè)列表里, 而這個(gè)列表只有在程序退出時(shí)才會被回收, 如果不正確處理, 那么分配的對象將也會只在程序退出時(shí)才會被回收.

全局變量和類變量都只會在程序退出的時(shí)候才會被回收:

_CONNECTIONS = []

# ...
class Connection(object):
 def __init__(self, sock, address)
  pass

def server_loop():
 # ...
 sock, address = server_sock.accept()
 connection = Connection(sock, address)
 _CONNECTIONS.append(connection)
 # ...
 sock.close()

上面把所有建立的連接都放在全局變量 _CONNECTIONS 里, 如果在關(guān)閉的時(shí)候不從這個(gè)列表 里取出(減少引用)則 connection 對象就不會被回收, 則每建立一次連接就會有個(gè)連接對象和連接 對象引用的對象不會被回收.

如果把對象放在一個(gè)類屬性里也是一樣的, 因?yàn)轭悓ο笤诔绦蛞婚_始就分配, 并在程序退出時(shí)才被回收.

解決辦法就是在退出時(shí)從列表(或其他對象)里解除對對象的引用(刪除)

_CONNECTIONS = []

# ...
class Connection(object):
 def __init__(self, sock, address)
  pass

def server_loop():
 # ...
 sock, address = server_sock.accept()
 connection = Connection(sock, address)
 _CONNECTIONS.append(connection)
 try:
  # ...
  sock.close()
 finally:
  _CONNECTIONS.remove(connection) # XXX

交叉引用

有時(shí)候我們?yōu)閷ο蠓峙湟粋€(gè)實(shí)例屬性時(shí)需要將自己本身賦值給實(shí)例屬性, 作為實(shí)例屬性的實(shí)例屬性, 說著很拗口, 看一下代碼:

class ConnectionHandler(object):
 def __init__(self, connection):
  self._conn = connection


class Connection(object):
 def __init__(self, sock, address)
  self._conn_handler = ConnectionHandler(self) # XXX

上面的代碼就會產(chǎn)生交叉引用, 交叉引用會讓解釋器困惑, 從而之后只能靠2代和3代回收, 這個(gè)過程可能會很慢.

解決這種問題的方法就是使用 弱引用

import weakref

class ConnectionHandler(object):
 def __init__(self, connection):
  self._conn = connection


class Connection(object):
 def __init__(self, sock, address)
  self._conn_handler = ConnectionHandler(weakref.proxy(self)) # XXX

最新評論