在Ubuntu服務(wù)器上部署xinference流程
更新時(shí)間：2026年03月28日 10:33:55 作者：你喜歡喝可樂嗎？
文章主要介紹了如何拉取鏡像、啟動(dòng)容器（特別是涉及GPU的容器）以及最終的訪問步驟,并強(qiáng)調(diào)這些是個(gè)人經(jīng)驗(yàn)總結(jié),供參考
一、拉取鏡像
docker pull xprobe/xinference:latest
二、啟動(dòng)容器（GPU）
docker run -d --name xinference -e XINFERENCE_MODEL_SRC=modelscope -p 9997:9997 --gpus all xprobe/xinference:latest xinference-local -H 0.0.0.0
# 啟動(dòng)一個(gè)新的Docker容器 docker run # 以分離（后臺(tái)）模式運(yùn)行容器 -d # 將容器命名為"xinference" --name xinference # 設(shè)置環(huán)境變量，指定Xinference的主目錄為容器內(nèi)的 -e XINFERENCE_MODEL_SRC=modelscope # 將容器的9997端口映射到主機(jī)的9997端口 -p 9997:9997 # 允許容器使用主機(jī)上的所有GPU資源 --gpus all # 使用最新版本的xprobe/xinference鏡像 xprobe/xinference:latest # 在容器內(nèi)運(yùn)行xinference-local命令，并設(shè)置主機(jī)地址為0.0.0.0（允許從任何IP地址訪問） xinference-local -H 0.0.0.0
三、訪問
網(wǎng)址：http://localhost:9997
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:
相關(guān)文章
Sudo是Unix/Linux平臺(tái)上的一個(gè)非常有用的工具，它允許系統(tǒng)管理員分配給普通用戶一些合理的“權(quán)利”，讓他們執(zhí)行一些只有超級(jí)用戶或其他 特許用戶才能完成的任務(wù)2014-03-03
作為linux系統(tǒng)管理員，經(jīng)常需要同時(shí)管理多臺(tái)機(jī)器 備份各機(jī)器的配置文件就要靠腳本了，簡單明了2009-09-09
Linux多臺(tái)服務(wù)器之間免密登錄的實(shí)現(xiàn)步驟
在日常的后端開發(fā)和運(yùn)維工作中,我們經(jīng)常需要頻繁登錄不同的服務(wù)器進(jìn)行部署、排查問題或上傳文件,傳統(tǒng)的基于用戶名和密碼的登錄方式既不安全又不高效,為此,我們可以利用 SSH 公鑰認(rèn)證的方式,實(shí)現(xiàn)無密碼（免密）登錄遠(yuǎn)程服務(wù)器,下面小編給大家詳細(xì)說說2025-04-04
這篇文章主要介紹了Linux basename命令的使用方法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
大家好，本篇文章主要講的是Linux一鍵安裝xdd plus機(jī)器人，感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
詳解如何備份及恢復(fù) Linux 文件權(quán)限
這篇文章主要介紹了詳解如何備份及恢復(fù) Linux 文件權(quán)限，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-03-03
rsync是一款多功能的文件同步工具,支持增量備份,減少數(shù)據(jù)傳輸時(shí)間和帶寬,它可以與不同的shell和協(xié)議配合使用,確保數(shù)據(jù)傳輸?shù)陌踩?提供了詳細(xì)的安裝和使用指南,適用于多種Linux發(fā)行版,使用戶能夠輕松掌握和應(yīng)用,Rsync的命令選項(xiàng)豐富2024-10-10
80端口被占用導(dǎo)致apache無法正常運(yùn)行，如果80端口不是iis占用，我們可以參考下面方法來查找80端口被哪個(gè)服務(wù)占用，具體操作如下2013-05-05
詳解在Linux系統(tǒng)中如何識(shí)別和解決端口占用問題
在日常的 Linux 系統(tǒng)管理和開發(fā)過程中,端口占用是一個(gè)常見且令人頭疼的問題,無論是部署新服務(wù)、調(diào)試應(yīng)用程序,還是進(jìn)行系統(tǒng)維護(hù),遇到端口被占用都可能導(dǎo)致服務(wù)無法正常啟動(dòng)或運(yùn)行,本文將詳細(xì)介紹在 Linux 系統(tǒng)中如何識(shí)別和解決端口占用問題,需要的朋友可以參考下2025-01-01
在Linux系統(tǒng)中,pip 在安裝 Python 包時(shí)會(huì)使用臨時(shí)目錄（TMPDIR）,但默認(rèn)的臨時(shí)目錄可能會(huì)受到存儲(chǔ)空間不足或權(quán)限問題的影響,所以本文將詳細(xì)介紹如何修改 pip 的臨時(shí)目錄,并提供相關(guān)的背景知識(shí)和實(shí)用建議,需要的朋友可以參考下2025-03-03