tkestack/gpu-manager在k8s1.23版本之后的使用方法
異常
在1.25版本的k8s集群中部署gpu-manage時，雖然顯示gpu節(jié)點上gpu-manage的pod實例都是running狀態(tài)，但是給pod申領(lǐng)tencent.com/vcuda-memory資源時，卻始終找不到有資源的節(jié)點。
查看節(jié)點的詳情時，返回的allocatable字段中也沒有相關(guān)資源:
Allocatable: cpu: 48 ephemeral-storage: 48294789041 hugepages-1Gi: 0 hugepages-2Mi: 0 memory: 65291520Ki pods: 110 System Info: Machine ID: 50ca20960ea94552bd5ef84a20ce7e47
說明gpu-manager并沒有正確運(yùn)行。
排查
查看任意gpu-manager的pod日志，可以看到如下異常信息：
rebuild ldcache
launch gpu manager
E0426 06:17:06.729262 2384 server.go:131] Unable to set Type=notify in systemd service file?
E0426 06:17:11.731947 2384 server.go:152] can't create container runtime manager: context deadline exceeded
說明gpu-manager和容器運(yùn)行時接口通信失敗了。
查看異常信息指向的代碼：
...
containerRuntimeManager, err := containerRuntime.NewContainerRuntimeManager(
m.config.CgroupDriver, m.config.ContainerRuntimeEndpoint, m.config.RequestTimeout)
if err != nil {
klog.Errorf("can't create container runtime manager: %v", err)
return err
}
klog.V(2).Infof("Container runtime manager is running")
...可以看到是訪問m.config.ContainerRuntimeEndpoint超時，這個變量的默認(rèn)值定義在cmd/manager/options/options.go
const ( DefaultDriver = "nvidia" DefaultQueryPort = 5678 DefaultSamplePeriod = 1 DefaultVirtualManagerPath = "/etc/gpu-manager/vm" DefaultAllocationCheckPeriod = 30 DefaultCheckpointPath = "/etc/gpu-manager/checkpoint" DefaultContainerRuntimeEndpoint = "/var/run/dockershim.sock" DefaultCgroupDriver = "cgroupfs" )
可以看到這里用的運(yùn)行時接口是/var/run/dockershim.sock，但是在k8s1.23版本之后，接口路徑已經(jīng)改為/var/run/cri-dockerd.sock，所以修改默認(rèn)之后重新編譯即可。
編譯
使用make img既可以用源碼的Makefile自動編譯打包成新的鏡像，但是源碼的/home/zp/work/gpu-manager/build/Dockerfile中的git222不一定能裝上，可以改成git，另外有一些依賴需要國際上的支持。
編譯后的鏡像在1.25版本的k8s中可以正常使用。
到此這篇關(guān)于tkestack/gpu-manager在k8s1.23版本之后的使用的文章就介紹到這了,更多相關(guān)tkestack/gpu-manager在k8使用內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要為大家介紹了Rainbond配置組件自動構(gòu)建部署官方文檔講解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-04-04
Docker是一種流行的容器化技術(shù),它允許開發(fā)人員在不同的環(huán)境中構(gòu)建、打包和運(yùn)行應(yīng)用程序,下面這篇文章主要給大家介紹了關(guān)于k8s目錄和文件掛載到宿主機(jī)的相關(guān)資料,需要的朋友可以參考下2024-01-01
這篇文章主要介紹了使用sealos快速搭建K8s集群環(huán)境,主要包括sealos安裝方法，虛擬機(jī)設(shè)置方法，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2022-09-09
這篇文章主要為大家介紹了K8S節(jié)點本地存儲被撐爆問題徹底解決方法，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11
云原生要素配置分離ConfigMap創(chuàng)建方式
這篇文章主要為大家介紹了云原生要素配置分離ConfigMap以及多種創(chuàng)建方式，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2022-03-03
Rainbond云原生部署開源社區(qū)Discourse的配置過程
這篇文章主要為大家介紹了Rainbond云原生部署開源社區(qū)Discourse配置過程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-04-04
Ingress是一種向k8s集群外部的客戶端公開服務(wù)的方法,下面這篇文章主要給大家介紹了關(guān)于k8s之ingress-nginx詳解和部署方案的相關(guān)資料,文中通過實例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-07-07
這篇文章主要介紹了Spark實現(xiàn)K-Means算法代碼示例，簡單介紹了K-Means算法及其原理，然后通過具體實例向大家展示了用spark實現(xiàn)K-Means算法，需要的朋友可以參考下。2017-10-10
這篇文章主要為大家介紹了k8s入門定義一個Pod以及破底的定義內(nèi)容詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多計步，早日升職加薪2022-03-03
這篇文章主要介紹了在K8S中實現(xiàn)會話保持的兩種方案,每種方案結(jié)合示例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2023-03-03