前言：

在口袋助理看到了其他部門的同事針對(duì)Python2內(nèi)存占用做的一點(diǎn)優(yōu)化工作，自己比較感興趣，遂記錄下。

1.Linux fork簡(jiǎn)介

fork是Linux提供的創(chuàng)建子進(jìn)程的系統(tǒng)調(diào)用。為了優(yōu)化創(chuàng)建進(jìn)程速度，Linux內(nèi)核使用了Copy-on-Write的方式去創(chuàng)建進(jìn)程，所謂Copy-on-Write是指執(zhí)行fork之后，
內(nèi)核并不立即給子進(jìn)程分配物理內(nèi)存空間，而是讓子進(jìn)程的虛內(nèi)存映射到父進(jìn)程的物理內(nèi)存。僅僅當(dāng)子進(jìn)程向地址空間中執(zhí)行寫入操作時(shí)，才給它分配一段物理內(nèi)存。
通過(guò)這種方式既優(yōu)化了進(jìn)程創(chuàng)建的時(shí)間，又減少了子進(jìn)程的內(nèi)存占用。

1.Copy-On-Write策略增加Python多進(jìn)程內(nèi)存占用的原因

Python GC采用引用技術(shù)的方式去管理對(duì)每個(gè)對(duì)象的引用，每一個(gè)被GC跟蹤的對(duì)象會(huì)由一個(gè)PyGC_Head的結(jié)構(gòu)體去表示。如下所示，其中gc_refs就是每個(gè)對(duì)象的引用計(jì)數(shù)值，
當(dāng)我們?cè)谧舆M(jìn)程中讀取父進(jìn)程創(chuàng)建的對(duì)象的時(shí)候，就會(huì)導(dǎo)致子進(jìn)程的虛地址空間中的gc_refs加1，從而觸發(fā)了內(nèi)核的缺頁(yè)中斷，這是內(nèi)核就會(huì)給子進(jìn)程創(chuàng)建新的物理內(nèi)存。
僅僅是簡(jiǎn)單的讀取操作就會(huì)導(dǎo)致新的內(nèi)存空間產(chǎn)生。

/* GC information is stored BEFORE the object structure. */
typedef union _gc_head?
{
? ? struct {
? ? ? ? union _gc_head *gc_next;
? ? ? ? union _gc_head *gc_prev;
? ? ? ? Py_ssize_t gc_refs;
? ? } gc;
? ? long double dummy; /* force worst-case alignment */
} PyGC_Head;

3.解決辦法

python3的解決方法：

針對(duì)這個(gè)問(wèn)題，Python3.7增加了三組API（有instagram團(tuán)體提交的）[1]。

freeze用于將GC追蹤的所有對(duì)象都移動(dòng)到永生代（permanent generation），之后垃圾回收會(huì)忽略這些被設(shè)置為永生代的對(duì)象。

實(shí)際使用中，我們可以在父進(jìn)程中執(zhí)行freeze函數(shù)，然后子進(jìn)程中使用和父進(jìn)程共享的對(duì)象，這樣對(duì)象的引用技術(shù)就不會(huì)增加，從而避免了COW的發(fā)生。

python2的解決方法：

• (1) 針對(duì)Python2，我們可以簡(jiǎn)單的把Python3的相關(guān)函數(shù)移植過(guò)來(lái)
• (2) 使用multiprocessing.Array去共享數(shù)據(jù)。Array會(huì)從共享內(nèi)存中取一段取存儲(chǔ)數(shù)據(jù)，并不會(huì)增加引用技術(shù)值，從而觸發(fā)COW。

實(shí)現(xiàn)方面，Array使用Posix共享內(nèi)存 + mmap去實(shí)現(xiàn)。[3]

#!/usr/bin/env python
# coding=utf-8
from multiprocessing import Array
import os
import sys

def foo():
? ? shared_cache = Array('i', range(0, 100), lock=False)
? ? pid = os.fork()
? ? if pid > 0:
? ? ? ? print("parent:", sys.getrefcount(shared_cache))?
? ? elif pid == 0:
? ? ? ? print("child:", sys.getrefcount(shared_cache))


foo()

到此這篇關(guān)于Python垃圾回收及Linux Fork的文章就介紹到這了,更多相關(guān)Python垃圾回收及Linux Fork內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

參考：

1.https://instagram-engineering.com/copy-on-write-friendly-python-garbage-collection-ad6ed5233ddf
2.https://llvllatrix.wordpress.com/2016/02/19/python-vs-copy-on-write/
3.https://github.com/python/cpython/blob/main/Lib/multiprocessing/shared_memory.py

最新評(píng)論