Linux內(nèi)存泄露的原因排查和解決方案（內(nèi)存管理方法）
一、問題
近期我們運維同事接到線上LB（負(fù)載均衡）服務(wù)內(nèi)存報警，運維同事反饋說LB集群有部分機器的內(nèi)存使用率超過80%，有的甚至超過90%，而且內(nèi)存使用率還再不停的增長。接到內(nèi)存報警的消息，讓整個團(tuán)隊都比較緊張，我們團(tuán)隊負(fù)責(zé)的LB服務(wù)是零售、物流、科技等業(yè)務(wù)服務(wù)的流量入口，承接上萬個服務(wù)的流量轉(zhuǎn)發(fā)，一旦有故障影響業(yè)務(wù)服務(wù)比較多，必須馬上著手解決內(nèi)存暴漲的問題。目前只是內(nèi)存報警，暫時不影響業(yè)務(wù)，先將內(nèi)存使用率90%以上的LB服務(wù)下線，防止內(nèi)存過高導(dǎo)致LB服務(wù)崩潰，影響業(yè)務(wù)，運維同事密切關(guān)注相關(guān)的內(nèi)存報警的消息。
二、排查過程
經(jīng)過開發(fā)同學(xué)通過cat /proc/meminfo查看Slab的內(nèi)核內(nèi)存可能有泄漏。
$ cat /proc/meminfo MemTotal: 65922868 kB MemFree: 9001452 kB ... Slab: 39242216 kB SReclaimable: 38506072 kB SUnreclaim: 736144 kB ....
通過slabtop命令分析slab發(fā)現(xiàn)內(nèi)核中dentry對象占比高，考慮到dentry對象跟文件有關(guān)，Linux中一切皆可以為文件，這個可能跟socket文件有關(guān)，通過進(jìn)一步排查發(fā)現(xiàn)LB服務(wù)上有個curl發(fā)送的HTTPS探測腳本，這個腳本存在dentry對象泄漏，并且在curl論壇上找到一篇文章確認(rèn)了這個問題，這個文章說明了curl-7.19.7版本在發(fā)送HTTPS請求時，curl依賴的NSS庫存在dentry泄漏的bug，我查看一下我們curl版本就是7.19.7，問題終于真相大白了?。?！
$ curl -V curl 7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.15.3 zlib/1.2.3 libidn/1.18 libssh2/1.4.2 Protocols: tftp ftp telnet dict ldap ldaps http file https ftps scp sftp Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz $ rpm -aq|grep nss- nss-util-3.16.1-3.el6.x86_64 nss-sysinit-3.16.1-14.el6.x86_64 nss-softokn-freebl-3.14.3-17.el6.x86_64 nss-softokn-3.14.3-17.el6.x86_64 nss-3.16.1-14.el6.x86_64 nss-tools-3.16.1-14.el6.x86_64
文章中介紹可以設(shè)置環(huán)境變量NSS\_SDB\_USE\_CACHE修復(fù)這個bug，我們驗證通過了這個解決方案。
三、解決方案
1、目前先將探測腳本停止，在業(yè)務(wù)流量低峰時將內(nèi)存使用率超過90%的服務(wù)先通過drop\_caches清理一下緩存。
2、等大促過后，探測腳本中設(shè)置環(huán)境變量NSS\_SDB\_USE\_CACHE，徹底修復(fù)這個問題。
四、內(nèi)存管理方法
1）Linux內(nèi)存尋址
Linux內(nèi)核主要通過虛擬內(nèi)存管理進(jìn)程的地址空間，內(nèi)核進(jìn)程和用戶進(jìn)程都只會分配虛擬內(nèi)存，不會分配物理內(nèi)存，通過內(nèi)存尋址將虛擬內(nèi)存與物理內(nèi)存做映射。Linux內(nèi)核中有三種地址，
a、邏輯地址，每個邏輯地址都由一段(segment)和偏移量(offset)組成，偏移量指明了從段開始的地方到實際地址之間的距離。
b、線性地址，又稱虛擬地址，是一個32個無符號整數(shù)，32位機器內(nèi)存高達(dá)4GB，通常用十六進(jìn)制數(shù)字表示，Linux進(jìn)程的內(nèi)存一般說的都是這個內(nèi)存。
c、物理地址，用于內(nèi)存芯片級內(nèi)存單元尋址。它們與從CPU的地址引腳發(fā)送到內(nèi)存總線上的電信號對應(yīng)。
Linux中的內(nèi)存控制單元(MMU)通過一種稱為分段單元(segmentation unit)的硬件電路把一個邏輯地址轉(zhuǎn)換成線性地址，接著，第二個稱為分頁單元(paging unit)的硬件電路把線性地址轉(zhuǎn)換成一個物理地址。
2）Linux分頁機制
分頁單元把線性地址轉(zhuǎn)換成物理地址。線性地址被分成以固定長度為單位的組，稱為頁(page)。頁內(nèi)部連續(xù)的線性地址被映射到連續(xù)的物理地址中。一般"頁"既指一組線性地址，又指包含這組地址中的數(shù)據(jù)。分頁單元把所有的RAM分成固定長度的頁框(page frame)，也成物理頁。每一頁框包含一個頁(page)，也就是說一個頁框的長度與一個頁的長度一致。頁框是主存的一部分，因此也是一個存儲區(qū)域。區(qū)分一頁和一個頁框是很重要的，前者只是一個數(shù)據(jù)塊，可以存放任何頁框或者磁盤中。把線性地址映射到物理地址的數(shù)據(jù)結(jié)構(gòu)稱為頁表(page table)。頁表存放在主存中，并在啟用分頁單元之前必須有內(nèi)核對頁表進(jìn)行適當(dāng)?shù)某跏蓟?/p>
x86\_64的Linux內(nèi)核采用4級分頁模型，一般一頁4K，4種頁表：
a、頁全局目錄
b、頁上級目錄
c、頁中間目錄
d、頁表
頁全局目錄包含若干頁上級目錄，頁上級目錄又依次包含若干頁中間目錄的地址，而頁中間目錄又包含若干頁表的地址。每個頁表項指向一個頁框。線性地址被分成5部分。
3）NUMA架構(gòu)
隨著CPU進(jìn)入多核時代，多核CPU通過一條數(shù)據(jù)總線訪問內(nèi)存延遲很大，因此NUMA架構(gòu)應(yīng)運而生，NUMA架構(gòu)全稱為非一致性內(nèi)存架構(gòu) (Non Uniform Memory Architecture)，系統(tǒng)的物理內(nèi)存被劃分為幾個節(jié)點(node)，每個node綁定不同的CPU核，本地CPU核直接訪問本地內(nèi)存node節(jié)點延遲最小。
可以通過lscpu命令查看NUMA與CPU核的關(guān)系。
$ lscpu Architecture: x86_64 CPU op-mode(s): 32-bit, 64-bit Byte Order: Little Endian CPU(s): 32 On-line CPU(s) list: 0-31 Thread(s) per core: 2 Core(s) per socket: 8 Socket(s): 2 NUMA node(s): 2 Vendor ID: GenuineIntel CPU family: 6 Model: 62 Stepping: 4 CPU MHz: 2001.000 BogoMIPS: 3999.43 Virtualization: VT-x L1d cache: 32K L1i cache: 32K L2 cache: 256K L3 cache: 20480K NUMA node0 CPU(s): 0-7,16-23 #這些核綁定在numa 0 NUMA node1 CPU(s): 8-15,24-31 #這些核綁定在numa 1
4）伙伴關(guān)系算法
Linux內(nèi)核通過著名伙伴關(guān)系算法為分配一組連續(xù)的頁框而建立一種健壯、穩(wěn)定的內(nèi)存分配策略，是內(nèi)核中一種內(nèi)存分配器，并解決了內(nèi)存管理外碎片的問題，外碎片是指頻繁地請求和釋放不同大小的一組連續(xù)頁框，必然導(dǎo)致在已分配的頁框的塊分散了許多小塊的空閑頁框。
5）Slab機制
slab機制的核心思想是以對象的觀點來管理內(nèi)存，主要是為了解決內(nèi)部碎片，內(nèi)部碎片是由于采用固定大小的內(nèi)存分區(qū)，即以固定的大小塊為單位來分配，采用這種方法，進(jìn)程所分配的內(nèi)存可能會比所需要的大，這多余的部分便是內(nèi)部碎片。slab也是內(nèi)核中一種內(nèi)存分配器，slab分配器基于對象進(jìn)行管理的，所謂的對象就是內(nèi)核中的數(shù)據(jù)結(jié)構(gòu)（例如：task\_struct,file\_struct 等）。相同類型的對象歸為一類，每當(dāng)要申請這樣一個對象時，slab分配器就從一個slab列表中分配一個這樣大小的單元出去，而當(dāng)要釋放時，將其重新保存在該列表中，而不是直接返回給伙伴系統(tǒng)，從而避免內(nèi)部碎片。上面中說到的dentry對象就是通過slab分配器分配的一種對象。
slab和伙伴系統(tǒng)是上下級的調(diào)用關(guān)系，伙伴關(guān)系按照頁管理內(nèi)存，slab按照字節(jié)管理，slab先從伙伴系統(tǒng)獲取數(shù)個頁的內(nèi)存，然后切成分成固定的小塊（稱為object），然后再按照聲明的對象數(shù)據(jù)結(jié)構(gòu)分配對象。
6）進(jìn)程內(nèi)存分布
所有進(jìn)程都必須占用一定數(shù)量的內(nèi)存，這些內(nèi)存用來存放從磁盤載入的程序代碼，或存放來自用戶輸入的數(shù)據(jù)等。內(nèi)存可以提前靜態(tài)分配和統(tǒng)一回收，也可以按需動態(tài)分配和回收。對于普通進(jìn)程對應(yīng)的內(nèi)存空間包含5種不同的數(shù)據(jù)區(qū)：
a、代碼段(text)：程序代碼在內(nèi)存中的映射，存放函數(shù)體的二進(jìn)制代碼，通常用于存放程序執(zhí)行代碼(即CPU執(zhí)行的機器指令)。
b、數(shù)據(jù)段(data)：存放程序中已初始化且初值不為0的全局變量和靜態(tài)局部變量。數(shù)據(jù)段屬于靜態(tài)內(nèi)存分配(靜態(tài)存儲區(qū))，可讀可寫。
c、BSS段(bss)：未初始化的全局變量和靜態(tài)局部變量。
d、堆(heap)：動態(tài)分配的內(nèi)存段，大小不固定，可動態(tài)擴張(malloc等函數(shù)分配內(nèi)存)，或動態(tài)縮減(free等函數(shù)釋放)。
e、棧(stack)：存放臨時創(chuàng)建的局部變量。
Linux內(nèi)核是操作系統(tǒng)中優(yōu)先級最高的，內(nèi)核函數(shù)申請內(nèi)存必須及時分配適當(dāng)?shù)膬?nèi)存，用戶態(tài)進(jìn)程申請內(nèi)存被認(rèn)為是不緊迫的，內(nèi)核盡量推遲給用戶態(tài)的進(jìn)程動態(tài)分配內(nèi)存。
a、請求調(diào)頁，推遲到進(jìn)程要訪問的頁不在RAM中時為止，引發(fā)一個缺頁異常。
b、寫時復(fù)制(COW)，父、子進(jìn)程共享頁框而不是復(fù)制頁框，但是共享頁框不能被修改，只有當(dāng)父/子進(jìn)程試圖改寫共享頁框時，內(nèi)核才將共享頁框復(fù)制一個新的頁框并標(biāo)記為可寫。
7）Linux內(nèi)存檢測工具
a、free命令可以監(jiān)控系統(tǒng)內(nèi)存
$ free -h
total used free shared buff/cache available
Mem: 31Gi 13Gi 8.0Gi 747Mi 10Gi 16Gi
Swap: 2.0Gi 321Mi 1.7Gib、top命令查看系統(tǒng)內(nèi)存以及進(jìn)程內(nèi)存
•VIRT Virtual Memory Size (KiB)：進(jìn)程使用的所有虛擬內(nèi)存，包括代碼（code）、數(shù)據(jù)（data）、共享庫（shared libraries），以及被換出（swap out）到交換區(qū)和映射了（map）但尚未使用（未載入實體內(nèi)存）的部分。
•RES Resident Memory Size (KiB)：進(jìn)程所占用的所有實體內(nèi)存（physical memory），不包括被換出到交換區(qū)的部分。
•SHR Shared Memory Size (KiB)：進(jìn)程可讀的全部共享內(nèi)存，并非所有部分都包含在 RES 中。它反映了可能被其他進(jìn)程共享的內(nèi)存部分。
c、smaps文件
cat /proc/\$pid/smaps查看某進(jìn)程虛擬內(nèi)存空間的分布情況
0082f000-00852000 rw-p 0022f000 08:05 4326085 /usr/bin/nginx/sbin/nginx Size: 140 kB Rss: 140 kB Pss: 78 kB Shared_Clean: 56 kB Shared_Dirty: 68 kB Private_Clean: 4 kB Private_Dirty: 12 kB Referenced: 120 kB Anonymous: 80 kB AnonHugePages: 0 kB Swap: 0 kB KernelPageSize: 4 kB MMUPageSize: 4 kB
d、vmstat
vmstat是Virtual Meomory Statistics（虛擬內(nèi)存統(tǒng)計）的縮寫，可實時動態(tài)監(jiān)視操作系統(tǒng)的虛擬內(nèi)存、進(jìn)程、CPU活動。
## 每秒統(tǒng)計3次 $ vmstat 1 3 procs -----------memory---------------- ---swap-- -----io---- --system-- -----cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 0 0 0 233483840 758304 20795596 0 0 0 1 0 0 0 0 100 0 0 0 0 0 233483936 758304 20795596 0 0 0 0 1052 1569 0 0 100 0 0 0 0 0 233483920 758304 20795596 0 0 0 0 966 1558 0 0 100 0 0
e、meminfo文件
Linux系統(tǒng)中/proc/meminfo這個文件用來記錄了系統(tǒng)內(nèi)存使用的詳細(xì)情況。
$ cat /proc/meminfo MemTotal: 8052444 kB MemFree: 2754588 kB MemAvailable: 3934252 kB Buffers: 137128 kB Cached: 1948128 kB SwapCached: 0 kB Active: 3650920 kB Inactive: 1343420 kB Active(anon): 2913304 kB Inactive(anon): 727808 kB Active(file): 737616 kB Inactive(file): 615612 kB Unevictable: 196 kB Mlocked: 196 kB SwapTotal: 8265724 kB SwapFree: 8265724 kB Dirty: 104 kB Writeback: 0 kB AnonPages: 2909332 kB Mapped: 815524 kB Shmem: 732032 kB Slab: 153096 kB SReclaimable: 99684 kB SUnreclaim: 53412 kB KernelStack: 14288 kB PageTables: 62192 kB NFS_Unstable: 0 kB Bounce: 0 kB WritebackTmp: 0 kB CommitLimit: 12291944 kB Committed_AS: 11398920 kB VmallocTotal: 34359738367 kB VmallocUsed: 0 kB VmallocChunk: 0 kB HardwareCorrupted: 0 kB AnonHugePages: 1380352 kB CmaTotal: 0 kB CmaFree: 0 kB HugePages_Total: 0 HugePages_Free: 0 HugePages_Rsvd: 0 HugePages_Surp: 0 Hugepagesize: 2048 kB DirectMap4k: 201472 kB DirectMap2M: 5967872 kB DirectMap1G: 3145728 kB
五、總結(jié)
這次內(nèi)存暴漲的問題根本原因是curl-7.19.7依賴的NSS庫存在dentry泄漏的bug導(dǎo)致的，探測腳本只是將這個問題暴露出來。這次問題由Linux內(nèi)存泄漏引發(fā)的問題，因此以點帶面再次系統(tǒng)學(xué)習(xí)一下Linux內(nèi)存管理的知識非常有必要，對我們以后排查內(nèi)存暴漲的問題非常有幫助。
相關(guān)文章
Linux系統(tǒng)利用cp命令實現(xiàn)強制覆蓋功能的方法
cp命令是我日常學(xué)習(xí)中經(jīng)常會遇到的一個命令，下面這篇文章主要給大家介紹了關(guān)于Linux系統(tǒng)利用cp命令實現(xiàn)強制覆蓋功能的方法，并且給大家簡單的介紹了cp命令的基礎(chǔ)知識，需要的朋友可以參考借鑒，下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧。2017-11-11
Linux SSH 安全策略 限制 IP 登錄方法，使用linux的朋友可以參考下2012-07-07
文章概述了Linux下的netfilter框架與iptables工具,二者協(xié)同實現(xiàn)包過濾防火墻,詳解四表五鏈結(jié)構(gòu)、規(guī)則配置命令及常用場景,強調(diào)規(guī)則順序、匹配條件、方向性考慮和默認(rèn)策略設(shè)置（如白名單采用ACCEPT而非DROP）的重要性2025-09-09
文章講述了如何在Linux系統(tǒng)中向左擴容分區(qū),通過使用Ubuntu啟動盤和gparted工具進(jìn)行全盤拷貝備份,并詳細(xì)介紹了操作步驟2026-01-01
Linux服務(wù)器出現(xiàn)崩潰或異常的故障排查和急救指南
當(dāng) Linux 服務(wù)器出現(xiàn)崩潰或異常時,及時有效的故障排查是至關(guān)重要的,以下是一個綜合性的急救指南,幫助你在遇到問題時進(jìn)行快速的故障排查和修復(fù),需要的朋友可以參考下2025-11-11
ubuntu下使用sublime text時如何完美輸入中文
網(wǎng)上的很多方法都不能讓ubuntu下的sublime輸入中文，使用Input Helper也很是別扭，這個方法是某大神通過啟動sublime程序前運行腳本修改sublime來實現(xiàn)中文輸入。2015-12-12
Linux CentOS 6.5 卸載、tar安裝MySQL的教程
這篇文章主要介紹了Linux CentOS 6.5 卸載、tar安裝MySQL的教程，本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值，需要的朋友參考下吧2019-11-11
這篇文章主要介紹了Linux服務(wù)器Systemctl命令完全使用指南,本文通過實例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友參考下吧2025-08-08
linux跨服務(wù)器復(fù)制文件方式(scp含腳本批量復(fù)制)
這篇文章主要介紹了linux跨服務(wù)器復(fù)制文件方式(scp含腳本批量復(fù)制)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-03-03
setuid,setgid和sticky是 Linux 中的特殊權(quán)限,可以對文件和目錄的訪問和執(zhí)行方式提供額外的控制,下面就跟隨小編一起來了解一下它們的具體使用吧2024-12-12