緣起：

監(jiān)控（docker stats）顯示容器內(nèi)存被用完了，進(jìn)入容器瞅了瞅，沒(méi)有發(fā)現(xiàn)使用內(nèi)存多的進(jìn)程，使用awk等工具把容器所有進(jìn)程使用的內(nèi)存加起來(lái)看看，距離用完還遠(yuǎn)了去了，何故？

分析：

該不會(huì)docker stats計(jì)算錯(cuò)誤？

進(jìn)入/sys/fs/cgroup/memory/docker/xxxxx/ 查看memory.usage ，確認(rèn)計(jì)算沒(méi)有錯(cuò)誤

我們知道，系統(tǒng)內(nèi)存會(huì)有一部分被buffer、cache之類占用，linux也會(huì)把這部分內(nèi)存算到已使用，對(duì)于容器來(lái)講，也應(yīng)該存在此“問(wèn)題”，而且非常有可能linux會(huì)把某容器引發(fā)的cache占用算到容器占用的內(nèi)存上；驗(yàn)證很簡(jiǎn)單，進(jìn)容器dd一個(gè)大文件就知道了：

dd 大文件后，docker stat顯示已用內(nèi)存變多

宿主機(jī)上： echo 3 > /proc/sys/vm/drop_caches 后，docker stat顯示已用內(nèi)存變少

至此，原因查明

問(wèn)題：

對(duì)于宿主機(jī)來(lái)講，計(jì)算內(nèi)存占用時(shí)，可以拿已用內(nèi)存減去cache/buffer ，那么對(duì)于容器來(lái)講，如果減去容器部分的cache/buffer 呢？如果不減去，也會(huì)造成誤報(bào)警

測(cè)試發(fā)現(xiàn)： dd 產(chǎn)生的文件cache占用的內(nèi)存會(huì)計(jì)算到 inactive_file 的頭上

最新評(píng)論