使用Docker部署GPUStack過(guò)程
github地址：https://github.com/gpustack/gpustack.git
官方文檔地址：https://docs.gpustack.ai/
運(yùn)行GPUStack
本次部署使用nvidia cuda機(jī)器，部署方式使用docker：
執(zhí)行以下命令，啟動(dòng) GPUStack 服務(wù)器和內(nèi)置 worker。
docker run -d --name gpustack \
--restart=unless-stopped \
--gpus all \
-p 7080:80 \
-p 10150:10150 \
-p 40064-40131:40064-40131 \
--ipc=host \
-v /raid/quxj/gpustack-data:/var/lib/gpustack \
gpustack/gpustack \
--worker-ip $ip頁(yè)面登錄： http://ip:7080
ui頁(yè)面默認(rèn)用戶： admin
獲取admin默認(rèn)密碼：
docker exec -it gpustack cat /var/lib/gpustack/initial_admin_password
界面效果：
添加worker(可選)
您可以向 GPUStack 添加更多 GPU 節(jié)點(diǎn)以形成 GPU 集群。您需要在其他 GPU 節(jié)點(diǎn)上添加 worker 并指定 and 參數(shù)以加入 GPUStack。--server-url--token
要獲取用于添加 worker 的 token，請(qǐng)?jiān)?GPUStack 服務(wù)器節(jié)點(diǎn)上運(yùn)行以下命令：
docker exec -it gpustack cat /var/lib/gpustack/token
要以 Worker 形式啟動(dòng) GPUStack 并將其注冊(cè)到 GPUStack 服務(wù)器，請(qǐng)?jiān)?nbsp;Worker 節(jié)點(diǎn)上運(yùn)行以下命令。請(qǐng)務(wù)必將 URL、令牌和節(jié)點(diǎn) IP 替換為您的特定值：
docker run -d --name gpustack \
--restart=unless-stopped \
--gpus all \
-p 10150:10150 \
-p 40064-40131:40064-40131 \
--ipc=host \
-v gpustack-data:/var/lib/gpustack \
gpustack/gpustack \
--server-url http://your_gpustack_url --token your_gpustack_token --worker-ip your_worker_host_ip注意：
- 支持異構(gòu)集群。無(wú)論是什么類型的設(shè)備，您都可以通過(guò)指定 and 參數(shù)將其作為工作程序添加到當(dāng)前 GPUStack 中。
--server-url--token - 您可以通過(guò)將其他標(biāo)志附加到 docker run 命令來(lái)為命令設(shè)置其他標(biāo)志。
- 您可以使用 flag 或 flag 來(lái)允許容器訪問(wèn)主機(jī)的共享內(nèi)存。vLLM 和 pyTorch 使用它來(lái)在后臺(tái)的進(jìn)程之間共享數(shù)據(jù)，特別是用于張量并行推理。
--ipc=host--shm-size - 該標(biāo)志用于確?？绻ぷ鞒绦蜻M(jìn)行分布式推理的連接。如果您不需要跨工作程序進(jìn)行分布式推理，則可以省略此標(biāo)志。
-p 40064-40131:40064-40131
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
docker部署xxl-job-admin出現(xiàn)數(shù)據(jù)庫(kù)拒絕問(wèn)題及解決方法
這篇文章主要介紹了docker部署xxl-job-admin出現(xiàn)數(shù)據(jù)庫(kù)拒絕問(wèn)題,本文給大家分享正確的解決思路，對(duì)docker部署xxl-job-admin相關(guān)知識(shí)感興趣的朋友一起看看吧2023-02-02
docker.service啟動(dòng)失?。篣nit not found的原因及解決辦法
這篇文章主要介紹了docker.service啟動(dòng)失敗：Unit not found的原因分析及解決辦法,需要的朋友可以參考下2017-04-04
本篇文章主要介紹了從0開始了解Docker(小結(jié))，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
這篇文章主要介紹了Docker?Volume的用法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
告別Docker請(qǐng)求超時(shí)之一步步排查與詳細(xì)解決方案
在Ubuntu系統(tǒng)上安裝Docker后,運(yùn)行docker?run?hello-world時(shí)遇到連接超時(shí)問(wèn)題,下面這篇文章主要介紹了Docker請(qǐng)求超時(shí)一步步排查與詳細(xì)解決方案的相關(guān)資料,需要的朋友可以參考下2025-02-02
Docker快速部署國(guó)產(chǎn)達(dá)夢(mèng)數(shù)據(jù)庫(kù)的實(shí)現(xiàn)示例
本文主要介紹了Docker快速部署國(guó)產(chǎn)達(dá)夢(mèng)數(shù)據(jù)庫(kù)的實(shí)現(xiàn)示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
本文主要介紹了docker搭建nginx的實(shí)現(xiàn)步驟，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2024-03-03
Docker拉取鏡像過(guò)慢或卡死的解決方法(親測(cè)有效)
本文主要介紹了Docker拉取鏡像過(guò)慢或卡死的解決方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
docker部署OceanBase-ce cluster方式
這篇文章主要介紹了docker部署OceanBase-ce cluster方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-03-03
docker如何快速搭建幾個(gè)常用的第三方服務(wù)詳解
這篇文章主要給大家介紹了關(guān)于利用docker如何快速搭建幾個(gè)常用的第三方服務(wù)的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2018-07-07