前言

在 Python 中處理大量字符串時(shí)，你可能會(huì)遇到意想不到的內(nèi)存占用問(wèn)題。比如需要存儲(chǔ)一百萬(wàn)個(gè)短字符串或數(shù)字，按每個(gè)字符串平均 10 字節(jié)、每個(gè) 64 位整數(shù) 8 個(gè)字節(jié)計(jì)算，理論上只需約 8 到 10MB 內(nèi)存，但實(shí)際用 Python 列表存儲(chǔ)時(shí)，內(nèi)存使用可能會(huì)到幾十MB。這背后的原因是什么？又該如何優(yōu)化？

1. 問(wèn)題引入：列表存儲(chǔ)的內(nèi)存 “膨脹”

先看一段簡(jiǎn)單的代碼，用普通列表存儲(chǔ)一百萬(wàn)個(gè)短字符串、相同的短字符串、整數(shù)、相同的整數(shù)：

str_list = [f"item_{i}" for i in range(1000000)]
same_item_str_list = [f"item" for i in range(1000000)]
num_list = [i for i in range(1000000)]
same_item_num_list = [0 for i in range(1000000)]

直覺(jué)上，每個(gè)字符串 “item_xxx” 大約 8-10 字節(jié)，每個(gè)整數(shù) 8 個(gè)字節(jié)，一百萬(wàn)條數(shù)據(jù)應(yīng)該在 8 到 10MB 左右。但實(shí)際內(nèi)存使用如何呢，我們用pympler來(lái)精確測(cè)量。

先安裝 pympler：

uv add pympler

修改代碼，增加測(cè)量?jī)?nèi)存占用情況的打?。?/p>

from pympler import asizeof

str_list = [f"item_{i}" for i in range(1000000)]
same_item_str_list = [f"item" for i in range(1000000)]
num_list = [i for i in range(1000000)]
same_item_num_list = [0 for i in range(1000000)]

print(f"str_list列表內(nèi)存: {asizeof.asizeof(str_list) / 1024 / 1024:.2f} MB")
print(f"same_item_str_list列表內(nèi)存: {asizeof.asizeof(same_item_str_list) / 1024 / 1024:.2f} MB")
print(f"num_list列表內(nèi)存: {asizeof.asizeof(num_list) / 1024 / 1024:.2f} MB")
print(f"same_item_num_list列表內(nèi)存: {asizeof.asizeof(same_item_num_list) / 1024 / 1024:.2f} MB")

再次運(yùn)行，得到的內(nèi)存報(bào)告大致如下（具體數(shù)值因環(huán)境略有差異）：

str_list列表內(nèi)存: 61.46 MB
same_item_str_list列表內(nèi)存: 8.06 MB
num_list列表內(nèi)存: 38.57 MB
same_item_num_list列表內(nèi)存: 8.06 MB

可以看到，四個(gè)列表的內(nèi)存占用差異巨大：存儲(chǔ)不同字符串的str_list占用 61.46MB，存儲(chǔ)不同整數(shù)的num_list占用 38.57MB，而存儲(chǔ)相同字符串和相同數(shù)字的列表都只占用約 8MB 內(nèi)存。為什么同樣是存儲(chǔ)一百萬(wàn)條數(shù)據(jù)，內(nèi)存占用會(huì)相差這么大呢？為什么和我們的根據(jù)理論猜測(cè)的占用大小不一樣呢？這需要先從數(shù)據(jù)的理論存儲(chǔ)與實(shí)際存儲(chǔ)差異說(shuō)起。

2. 理論存儲(chǔ)與實(shí)際存儲(chǔ)的差異

我們常說(shuō) “每個(gè) 64 位整數(shù)占用 8 字節(jié)”“每個(gè)字符占用 1 字節(jié)”，這是硬件層面的理論存儲(chǔ)需求，但在 Python 中，由于對(duì)象模型的設(shè)計(jì)，實(shí)際存儲(chǔ)開(kāi)銷(xiāo)會(huì)遠(yuǎn)高于理論值。

2.1 64位整數(shù)的存儲(chǔ)差異

• 理論值（8 字節(jié)）：指在硬件和底層編程語(yǔ)言（如 C 語(yǔ)言）中，存儲(chǔ)一個(gè) 64 位二進(jìn)制數(shù)字所需的最小空間，僅包含數(shù)值本身，沒(méi)有額外信息。
• Python 實(shí)際值（28 字節(jié)以上）：Python 中的整數(shù)是對(duì)象，其結(jié)構(gòu)PyIntObject（在 CPython 源碼中實(shí)際名為PyLongObject，整數(shù)對(duì)象統(tǒng)一使用長(zhǎng)整型結(jié)構(gòu)）包含：
  • 引用計(jì)數(shù)（8 字節(jié)）：跟蹤對(duì)象被引用的次數(shù)，用于垃圾回收
  • 類(lèi)型指針（8 字節(jié)）：標(biāo)識(shí)該對(duì)象是整數(shù)類(lèi)型（指向PyLong_Type）
  • 長(zhǎng)度字段（8 字節(jié)）：記錄整數(shù)占用的位數(shù)組長(zhǎng)度（對(duì)于小整數(shù)固定為 1）
  • 數(shù)值數(shù)據(jù)（4 字節(jié)起）：存儲(chǔ)實(shí)際的整數(shù)數(shù)值（以位數(shù)組形式存儲(chǔ)，小整數(shù)至少占用 4 字節(jié)對(duì)齊空間）
    這些結(jié)構(gòu)字段總和為 8+8+8+4=28 字節(jié)，因此即使是最小的整數(shù)，在 Python 中也需要 28 字節(jié)內(nèi)存，是理論值的 3.5 倍。

2.2 短字符串的存儲(chǔ)差異

• 理論值（字符數(shù) ×1 字節(jié)）：在 ASCII 編碼中，每個(gè)字符占用 1 字節(jié)，一個(gè) 8 字符的字符串理論上只需 8 字節(jié)。
• Python 實(shí)際值（50 字節(jié)左右）：Python 的字符串對(duì)象PyUnicodeObject包含：
  • 引用計(jì)數(shù)（8 字節(jié)）和類(lèi)型指針（8 字節(jié)）：基礎(chǔ)對(duì)象元數(shù)據(jù)
  • 字符串長(zhǎng)度（8 字節(jié)）：記錄字符數(shù)量
  • 哈希值（8 字節(jié)）：用于快速比較和字典查找
  • 編碼標(biāo)志位（4 字節(jié)）：記錄字符串使用的編碼格式（如 ASCII、UTF-8 等）
  • 字符數(shù)據(jù)及內(nèi)存對(duì)齊（8 字符 ×1 字節(jié) + 4 字節(jié)對(duì)齊填充）：實(shí)際字符存儲(chǔ)需要按 8 字節(jié)對(duì)齊，8 個(gè)字符本需 8 字節(jié)，但為滿足內(nèi)存對(duì)齊要求會(huì)填充 4 字節(jié)
  • 額外內(nèi)存開(kāi)銷(xiāo)：Python 內(nèi)存分配器會(huì)為小對(duì)象添加 4-8 字節(jié)的管理信息
    以 8 字符的 “item” 字符串為例，元數(shù)據(jù)（36 字節(jié)）+ 字符數(shù)據(jù)（8 字節(jié)）+ 對(duì)齊填充（4 字節(jié)）+ 分配器開(kāi)銷(xiāo)（2 字節(jié)）≈50 字節(jié)，因此實(shí)際內(nèi)存是理論值的 6 倍多。
    這種理論與實(shí)際的差異，是導(dǎo)致列表內(nèi)存 “膨脹” 的基礎(chǔ)原因。當(dāng)存儲(chǔ)大量元素時(shí)，每個(gè)元素的額外開(kāi)銷(xiāo)會(huì)累積成巨大的內(nèi)存差異。

3. 列表的內(nèi)存存儲(chǔ)本質(zhì)

了解了整數(shù)和字符串的理論存儲(chǔ)和實(shí)際存儲(chǔ)差異，我們就可以開(kāi)始學(xué)習(xí)列表的內(nèi)存存儲(chǔ)了。Python 列表本質(zhì)上是指針數(shù)組，它存儲(chǔ)的不是元素本身，而是元素對(duì)象在內(nèi)存中的地址（指針）。在 64 位系統(tǒng)中，每個(gè)指針固定占用 8 字節(jié)，因此：

• 無(wú)論列表中的元素是什么類(lèi)型，一個(gè)包含 100 萬(wàn)個(gè)元素的列表，其指針數(shù)組本身的內(nèi)存固定為 8MB（1000000×8 字節(jié)）。
• 列表的總內(nèi)存 = 指針數(shù)組內(nèi)存 + 所有元素對(duì)象的內(nèi)存總和。
  這就解釋了為什么same_item_str_list和same_item_num_list的內(nèi)存都在 8MB 左右 —— 它們的指針數(shù)組占用 8MB，所有指針指向相同的內(nèi)存地址，因?yàn)樵貙?duì)象只有一個(gè)，所以元素對(duì)象的內(nèi)存幾乎可以忽略不計(jì)。而str_list和num_list內(nèi)存飆升的原因，正是元素對(duì)象的內(nèi)存開(kāi)銷(xiāo)很大。

3.1 相同元素列表內(nèi)存少的核心原因：對(duì)象復(fù)用

當(dāng)列表中的元素完全相同時(shí)（如same_item_str_list全是 “item”，same_item_num_list全是 0），Python 會(huì)復(fù)用同一個(gè)對(duì)象，避免重復(fù)創(chuàng)建，從而大幅減少內(nèi)存開(kāi)銷(xiāo)。

3.1.1 小整數(shù)的緩存復(fù)用機(jī)制

Python 對(duì)小整數(shù)（通常是 -5 到 256 之間） 采用預(yù)創(chuàng)建和緩存機(jī)制：這些整數(shù)在 Python 啟動(dòng)時(shí)就被提前創(chuàng)建，并存入全局緩存池，后續(xù)使用時(shí)直接復(fù)用，不會(huì)重復(fù)分配內(nèi)存。

• 在same_item_num_list = [0 for i in range(1000000)]中，所有元素都是 0，而 0 屬于小整數(shù)，會(huì)被全局緩存復(fù)用。
• 整個(gè)列表中，所有指針都指向同一個(gè) 0 對(duì)象，因此元素對(duì)象的內(nèi)存只需存儲(chǔ)1 個(gè) 0 的內(nèi)存（約 28 字節(jié)）。
• 總內(nèi)存 = 指針數(shù)組（8MB）+1 個(gè) 0 對(duì)象內(nèi)存（可忽略）≈8MB（與實(shí)測(cè)的 8.06MB 一致）。
  這種機(jī)制極大提高了小整數(shù)的使用效率，尤其在循環(huán)計(jì)數(shù)、狀態(tài)標(biāo)記等場(chǎng)景中，避免了頻繁創(chuàng)建和銷(xiāo)毀整數(shù)對(duì)象的開(kāi)銷(xiāo)。

3.1.2 字符串的駐留（Intern）機(jī)制

Python 會(huì)對(duì)短字符串、標(biāo)識(shí)符類(lèi)字符串進(jìn)行 “駐留”（Intern）處理：相同的字符串會(huì)被存儲(chǔ)在全局字符串池中，后續(xù)使用時(shí)直接復(fù)用，不會(huì)重復(fù)創(chuàng)建新對(duì)象。

• 在same_item_str_list = [f"item" for i in range(1000000)]中，所有元素都是 “item”，這是一個(gè)短字符串且符合標(biāo)識(shí)符規(guī)則（字母組成），會(huì)被自動(dòng)駐留。
• 整個(gè)列表中，所有指針都指向同一個(gè) “item” 對(duì)象，元素對(duì)象的內(nèi)存只需存儲(chǔ)1 個(gè) “item” 的內(nèi)存（約 50 字節(jié)）。
• 總內(nèi)存 = 指針數(shù)組（8MB）+1 個(gè) “item” 對(duì)象內(nèi)存（可忽略）≈8MB（與實(shí)測(cè)的 8.06MB 一致）。
  字符串駐留機(jī)制主要用于優(yōu)化程序中頻繁出現(xiàn)的相同字符串，如變量名、關(guān)鍵字、常量字符串等，減少內(nèi)存浪費(fèi)和字符串比較的時(shí)間開(kāi)銷(xiāo)。

3.2 不同元素列表內(nèi)存高的原因：對(duì)象重復(fù)創(chuàng)建

當(dāng)列表中的元素不同時(shí)（如str_list和num_list），每個(gè)元素都是獨(dú)立的新對(duì)象，需要為每個(gè)元素分配單獨(dú)的內(nèi)存，導(dǎo)致總內(nèi)存劇增。

3.2.1 不同整數(shù)的內(nèi)存開(kāi)銷(xiāo)

num_list = [i for i in range(1000000)]中，元素是 0 到 999999：

• 其中 0 到 256 是小整數(shù)，會(huì)被緩存復(fù)用，但 257 到 999999 是大整數(shù)，每個(gè)大整數(shù)都是獨(dú)立的新對(duì)象。
• 每個(gè) Python 整數(shù)對(duì)象（尤其是大整數(shù)）的內(nèi)存開(kāi)銷(xiāo)約 28 字節(jié)（包含引用計(jì)數(shù)、類(lèi)型指針等元數(shù)據(jù)）。
• 總內(nèi)存 = 指針數(shù)組（8MB）+ 約 999744 個(gè)大整數(shù)對(duì)象內(nèi)存（999744×28 字節(jié)≈27MB）≈35MB（與實(shí)測(cè)的 38.57MB 接近，差異來(lái)自小整數(shù)緩存和內(nèi)存對(duì)齊）。
  大整數(shù)沒(méi)有緩存機(jī)制，每個(gè)大整數(shù)都需要單獨(dú)分配內(nèi)存，這就是num_list內(nèi)存比相同元素?cái)?shù)字列表高的原因。

3.2.2 不同字符串的內(nèi)存開(kāi)銷(xiāo)

str_list = [f"item_{i}" for i in range(1000000)]中，每個(gè)元素是不同的字符串（“item_0” 到 “item_999999”）：

• 這些字符串都是動(dòng)態(tài)生成的不同內(nèi)容，不會(huì)被駐留復(fù)用，每個(gè)都是獨(dú)立的新字符串對(duì)象。
• 每個(gè)短字符串對(duì)象的內(nèi)存開(kāi)銷(xiāo)約 50-60 字節(jié)（包含元數(shù)據(jù)和字符數(shù)據(jù)）。
• 總內(nèi)存 = 指針數(shù)組（8MB）+100 萬(wàn)個(gè)獨(dú)立字符串對(duì)象內(nèi)存（1000000×50 字節(jié)≈48MB）≈56MB（與實(shí)測(cè)的 61.46MB 接近，差異來(lái)自字符串長(zhǎng)度不同和元數(shù)據(jù)開(kāi)銷(xiāo)）。
  動(dòng)態(tài)生成的不同字符串無(wú)法被駐留機(jī)制復(fù)用，每個(gè)字符串都需要單獨(dú)存儲(chǔ)元數(shù)據(jù)和字符數(shù)據(jù)，導(dǎo)致內(nèi)存開(kāi)銷(xiāo)遠(yuǎn)高于相同元素的字符串列表。

4. 內(nèi)存占用對(duì)比分析

5. 優(yōu)化建議：利用對(duì)象復(fù)用減少內(nèi)存開(kāi)銷(xiāo)

了解了 Python 的對(duì)象復(fù)用機(jī)制后，我們可以采取以下策略?xún)?yōu)化列表內(nèi)存占用：

1. 復(fù)用小整數(shù)和短字符串：在需要存儲(chǔ)大量重復(fù)元素的場(chǎng)景中，盡量使用小整數(shù)（-5 到 256）和可駐留的短字符串，避免動(dòng)態(tài)生成不同的元素。
2. 使用數(shù)據(jù)結(jié)構(gòu)優(yōu)化重復(fù)元素存儲(chǔ)：對(duì)于包含大量重復(fù)元素的列表，可使用array模塊或 Pandas 的category類(lèi)型，這些結(jié)構(gòu)會(huì)自動(dòng)復(fù)用重復(fù)元素，減少內(nèi)存開(kāi)銷(xiāo)。
3. 避免無(wú)意義的對(duì)象創(chuàng)建：在循環(huán)中避免重復(fù)創(chuàng)建相同的對(duì)象，例如將[f"abcdefghijklmnopqrstuvwxyz" for i in range(1000000)]改為item = "abcdefghijklmnopqrstuvwxyz"; [item for i in range(1000000)]，確保元素對(duì)象只創(chuàng)建一次。
4. 針對(duì)大整數(shù)和長(zhǎng)字符串的優(yōu)化：對(duì)于大量大整數(shù)，可考慮使用 NumPy 數(shù)組存儲(chǔ)；對(duì)于大量字符串，可使用 Pandas 的StringDtype或category類(lèi)型，利用其內(nèi)置的重復(fù)元素壓縮機(jī)制。

6. 總結(jié)

Python 列表的內(nèi)存占用差異主要來(lái)自元素對(duì)象的復(fù)用情況：相同元素的列表通過(guò)小整數(shù)緩存和字符串駐留機(jī)制復(fù)用對(duì)象，內(nèi)存開(kāi)銷(xiāo)主要來(lái)自指針數(shù)組；而不同元素的列表需要為每個(gè)元素創(chuàng)建獨(dú)立對(duì)象，每個(gè)對(duì)象的元數(shù)據(jù)開(kāi)銷(xiāo)累積導(dǎo)致內(nèi)存飆升。

在實(shí)際開(kāi)發(fā)中，當(dāng)需要存儲(chǔ)大量數(shù)據(jù)時(shí)，應(yīng)充分利用 Python 的對(duì)象復(fù)用機(jī)制，選擇合適的數(shù)據(jù)結(jié)構(gòu)，避免無(wú)意義的對(duì)象重復(fù)創(chuàng)建。通過(guò)合理設(shè)計(jì)數(shù)據(jù)存儲(chǔ)方式，既能減少內(nèi)存占用，也能提高程序運(yùn)行效率。

最新評(píng)論