k8s容器放開(kāi)鎖內(nèi)存限制問(wèn)題
參考：https://access.redhat.com/solutions/1257953
問(wèn)題
nccl-test容器docker.io/library/nccl-tests:24.12中跑mpirun，buff設(shè)置為NCCL_BUFFSIZE=503316480
提示out of memory：
?
pod-1:78:91 [0] include/alloc.h:114 NCCL WARN Cuda failure 'out of memory'pod-1:78:91 [0] include/alloc.h:119 NCCL WARN Failed to CUDA host alloc -268435456 bytes
pod-1:78:91 [0] NCCL INFO transport/net.cc:517 -> 1
pod-1:78:91 [0] NCCL INFO transport/net.cc:719 -> 1
pod-1:78:93 [0] NCCL INFO transport.cc:193 -> 1
pod-1:78:93 [0] NCCL INFO group.cc:133 -> 1
pod-1:78:93 [0] NCCL INFO group.cc:75 -> 1 [Async thread]pod-1:78:91 [0] proxy.cc:1620 NCCL WARN [Service thread] Error encountered progressing operation=Connect, res=3, closing connection
pod-1:78:78 [0] NCCL INFO group.cc:426 -> 1
pod-1:78:78 [0] NCCL INFO group.cc:566 -> 1
pod-1:78:78 [0] NCCL INFO group.cc:106 -> 1
pod-1: Test NCCL failure sendrecv.cu:57 'unhandled cuda error (run with NCCL_DEBUG=INFO for details) / '
.. pod-1 pid 78: Test failure common.cu:383
.. pod-1 pid 78: Test failure common.cu:592
.. pod-1 pid 78: Test failure sendrecv.cu:103
.. pod-1 pid 78: Test failure common.cu:625
.. pod-1 pid 78: Test failure common.cu:1123
.. pod-1 pid 78: Test failure common.cu:893
問(wèn)題確認(rèn)
容器內(nèi)執(zhí)行ulimit -a顯示max locked memory只有64k
放開(kāi)容器max locked memory限制
在 /etc/systemd/system/docker.service中增加LimitMEMLOCK=infinity
然后重啟docker：
systemctl daemon-reload systemctl restart docker
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
CentOS 7下YUM 本地倉(cāng)庫(kù)的搭建詳細(xì)步驟
這篇文章主要介紹了CentOS 7下YUM 本地倉(cāng)庫(kù)的搭建詳細(xì)步驟的相關(guān)資料,希望通過(guò)本文能幫助到大家實(shí)現(xiàn)這樣的功能，需要的朋友可以參考下2017-09-09
詳解k8s ConfigMap 中 subPath 字段和 items
volumeMounts.subPath 屬性可用于指定所引用的卷內(nèi)的子路徑，而不是其根路徑，這篇文章主要介紹了詳解k8s ConfigMap 中 subPath 字段和 items 字段,需要的朋友可以參考下2023-03-03
Kubernetes Worker Node組件使用及說(shuō)明
這篇文章主要介紹了Kubernetes Worker Node組件使用及說(shuō)明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2026-01-01
這篇文章主要為大家介紹了自定義資源CRD的使用示例介紹，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05
k8s是一個(gè)輕便的和可擴(kuò)展的開(kāi)源平臺(tái),用于管理容器化應(yīng)用和服務(wù),通過(guò)k8s能夠進(jìn)行應(yīng)用的自動(dòng)化部署和擴(kuò)縮容,這篇文章主要介紹了k8s的架構(gòu)組成,需要的朋友可以參考下2024-05-05
topologyKey定義拓?fù)溆?用于Pod親和/反親和性規(guī)則,調(diào)度器根據(jù)其分組節(jié)點(diǎn),當(dāng)前配置僅強(qiáng)制節(jié)點(diǎn)標(biāo)簽匹配,未限制副本數(shù)量,建議補(bǔ)充podAntiAffinity實(shí)現(xiàn)隔離2025-08-08
K8S?prometheus?operator監(jiān)控工作原理介紹
這篇文章主要為大家介紹了K8S?prometheus?operator監(jiān)控工作原理介紹，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11
這篇文章主要介紹了K8S?中?kubectl?命令,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-07-07
這篇文章主要給大家介紹了關(guān)于K8S中五種控制器及使用的相關(guān)資料,控制器 又稱(chēng)之為工作負(fù)載,本文通過(guò)圖文以及實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-12-12
Kubernetes 1.28.2集群安裝過(guò)程中的關(guān)鍵步驟詳解(最新推薦)
Kubernetes K8s是Google開(kāi)源的容器編排平臺(tái),最初由Borg項(xiàng)目發(fā)展而來(lái),K8s 1.28版本引入了非正常節(jié)點(diǎn)關(guān)閉恢復(fù)、內(nèi)置Sidecar容器支持、Job優(yōu)化、Proxy改進(jìn)和調(diào)度框架優(yōu)化等功能,本文介紹Kubernetes 1.28.2集群安裝過(guò)程中的關(guān)鍵步驟,感興趣的朋友一起看看吧2025-03-03