背景

使用python進行大量的數據操作過程中RSS占用（幾個G，Python的GC會頻繁地malloc/free），發(fā)現RSS內存不釋放。

• 排查代碼后，沒有發(fā)現內存泄露的情況，GC也是默認開啟的，甚至代碼將數據庫數據讀出來遍歷一遍后程序結束，內存一直存在不釋放。
• 使用tracemalloc,objectgraph調試，Python對象的產生和釋放并沒有啥異常。
• Python的對象內存管理是基于引用計數的（refcnt為0直接decref回收），python內存池也沒發(fā)現大內存駐留，操作系統brk和mmap也并沒有不釋放內存。

在調測中也發(fā)現，這個問題給人的整體感覺不是代碼哪里有問題，查閱相關資料后，發(fā)現可能是Glibc優(yōu)化問題。

python的內存機制，頻繁通過系統調用獲取和釋放內存對性能消耗很大的，python將對象銷毀后，并沒有立即將這部分內存返回給操作系統，而是加到了自己維護的空閑內存池中。

從系統層面來看，這步扥內存已經被python進程占用了，但是從python解釋器的角度來看，這部分是free的，可以用于生成新的對象。

那么我們在Python中如何手動分配釋放內存？

我們使用進程內存隔離的能力直接管理內存，父進程只負責進程池管理，子進程干完事情，直接退出，或過期重新拉起，或者超過內存閾值就干掉，就可以了（當然最好是業(yè)務處理不是很頻繁的情況下）。

多進程處理參考：multiprocessing --- 基于進程的并行 — Python 3.10.0 文檔

Process 類

在 multiprocessing 中，通過創(chuàng)建一個 Process 對象然后調用它的 start() 方法來生成進程。 

Process 和 threading.Thread API 相同。

一個簡單的多進程程序示例是：

from multiprocessing import Process
 
def f(name):
    print('hello', name)
 
if __name__ == '__main__':
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

常見問題 

實際業(yè)務中會經常用到數據庫等長連接的操作，如數據庫等，

可能會報如下錯誤：

ERROR:base.py:Line 705:_finalize_fairy:Exception during reset or similar
 
Traceback (most recent call last):
  File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 697, in _finalize_fairy
    fairy._reset(pool)
 
  File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/pool/base.py", line 893, in _reset
    pool._dialect.do_rollback(self)
 
  File "/home/tsalazar/.cache/pypoetry/virtualenvs/ufos--PZ7y9g--py3.8/lib/python3.8/site-packages/sqlalchemy/engine/default.py", line 558, in do_rollback
    dbapi_connection.rollback()
 
psycopg2.OperationalError: SSL error: decryption failed or bad record mac

解決辦法

不要將長連接對象通過參數傳遞，在函數內部鏈接，使得進程之間互不影響。 

總結

以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。

最新評論