一、背景

做redis壓測(cè)過(guò)程中，發(fā)現(xiàn)paas環(huán)境的redis被OOMKill老是不斷重啟

Pod日志：

二、排查方案

1. 可能是數(shù)據(jù)量超出了限制的大小

檢查數(shù)據(jù)目錄大小

2. 查看是否是內(nèi)存溢出

開(kāi)始排查

2.1 排查數(shù)據(jù)量（查看數(shù)據(jù)目錄大小是否超過(guò)limit限制）

limit限制為64G 查到數(shù)據(jù)目錄占用很少 忽略此問(wèn)題

2.2 查看pod詳情發(fā)現(xiàn)問(wèn)題

為了更準(zhǔn)確的定位問(wèn)題，查看是否是內(nèi)存泄露問(wèn)題，查看系統(tǒng)參數(shù)（正常是沒(méi)有輸出）

確定是由于壓測(cè)導(dǎo)致的Cgroup內(nèi)存泄露問(wèn)題

定位原因以后解決問(wèn)題 ：處理內(nèi)存泄露問(wèn)題（試了三個(gè)方案才得以解決）

三、解決過(guò)程

方案一：（修改grub文件）

• 修改/etc/default/grub 為：

GRUB_CMDLINE_LINUX=“crashkernel=auto net.ifnames=0 biosdevname=0 intel_pstate=disable cgroup.memory=nokmem”

是追加

GRUB_CMDLINE_LINUX=“console=tty0 console=ttyS0 crashkernel=512M-2G:128M,2G:512M rd.lvm.lv=bel/root rhgb quiet cgroup.memory=nokmem” 把 cgroup.memory=nokmem

追加到最后即可

• 生成配置：

/usr/sbin/grub2-mkconfig -o /boot/grub2/grub.cfg

• 重啟機(jī)器：

reboot

• 驗(yàn)證：

cat /sys/fs/cgroup/memory/kubepods/burstable/pod*/*/memory.kmem.slabinfo 無(wú)輸出即可。

x版本cgroup.memory存在bug，docker或其他使用cgroup.memory中kmem功能的應(yīng)用會(huì)造成slab內(nèi)存泄漏 部分系統(tǒng)可以通過(guò)升級(jí)到4.x的修復(fù)版本來(lái)解決，或者通過(guò) cgroup.memory=nokmem 啟動(dòng)項(xiàng)來(lái)規(guī)避。 部分系統(tǒng)不支持cgroup.memory=nokmem 啟動(dòng)項(xiàng)，可以通過(guò) cgroup_disable=memory 啟動(dòng)項(xiàng)來(lái)規(guī)避。（此方案解決部分機(jī)器，并未全部解決）

方案二：（升級(jí)內(nèi)核、Iaas建議）

由于服務(wù)器均為多系統(tǒng)，可以進(jìn)行此操作

既然是 3.x 的問(wèn)題，直接升級(jí)內(nèi)核到 5.x 及以上即可，內(nèi)核問(wèn)題解釋?zhuān)?/p>

https://github.com/torvalds/linux/commit/d6e0b7fa11862433773d986b5f995ffdf47ce672

https://support.mesosphere.com/s/article/Critical-Issue-KMEM-MSPH-2018-0006

這種方式的缺點(diǎn)是： 需要升級(jí)所有節(jié)點(diǎn)，節(jié)點(diǎn)重啟的話(huà)已有 pod 肯定要漂移，如果節(jié)點(diǎn)規(guī)模很大，這個(gè)升級(jí)操作會(huì)很繁瑣，業(yè)務(wù)部門(mén)也會(huì)有意見(jiàn)，要事先溝通。

這個(gè)問(wèn)題歸根結(jié)底是軟件兼容問(wèn)題，3.x 自己都說(shuō)了不成熟，不建議你使用該特性，k8s、docker卻 還要開(kāi)啟這個(gè)屬性。（此方案并不奏效）

方案三：（grubby在線(xiàn)修改內(nèi)核參數(shù)）

查看當(dāng)前內(nèi)核版本

--update-kernel 為當(dāng)前內(nèi)核版本文件
grubby --args=cgroup.memory=nokmem --update-kernel=/boot/vmlinuz-3.10.0-1160.el7.x86_64

重啟主機(jī) 查看系統(tǒng)參數(shù) （顯示正常）

查看pod正常運(yùn)行

附加知識(shí)點(diǎn)：（內(nèi)存buff占用清理 -hcache）

wget https://silenceshell-1255345740.cos.ap-shanghai.myqcloud.com/hcache
chmod 755 hcache && mv hcache /usr/local/bin/
hcache --top 10

查看內(nèi)存 free -h

• buffers: 用于塊設(shè)備數(shù)據(jù)緩沖，記錄文件系統(tǒng)metadata（目錄，權(quán)限，屬性等)
• cached: 用于文件內(nèi)容的緩沖

分別查看

清理緩存

僅清除頁(yè)面緩存（PageCache）

sync; echo 1 > /proc/sys/vm/drop_caches

清除目錄項(xiàng)和inode

# sync; echo 2 > /proc/sys/vm/drop_caches

清除頁(yè)面緩存，目錄項(xiàng)和inode

# sync; echo 3 > /proc/sys/vm/drop_caches

清理交換空間：

swapoff -a && swapon -a

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論