配置gpu驅(qū)動(dòng)、docker和vllm過程
更新時(shí)間：2026年05月13日 09:12:55 作者：Annnclaire
文章主要介紹了在Ubuntu 22.04上安裝Docker并運(yùn)行vllm模型的具體步驟,包括安裝驅(qū)動(dòng)、卸載舊版本Docker、更新系統(tǒng)軟件包、添加Docker官方GPG密鑰和阿里云Docker軟件源、安裝Docker、加入docker組、驗(yàn)證安裝、拉取vllm鏡像、下載模型、配置docker-compose
一、安裝驅(qū)動(dòng)
1. 查看推薦驅(qū)動(dòng)版本
ubuntu-drivers devices
2. 自動(dòng)安裝推薦驅(qū)動(dòng)
sudo ubuntu-drivers autoinstall
或者手動(dòng)安裝推薦版本
sudo apt update sudo apt install nvidia-driver-590-open
3. 完成后重啟
sudo reboot
4. 檢查是否成功
nvidia-smi
正常到這里結(jié)束，如果沒成功加載則需要
sudo modprobe nvidia sudo systemctl enable nvidia-persistenced
二、Ubuntu 22.04 安裝 Docker
1. 卸載舊版本Docker
sudo apt-get remove docker docker-engine docker.io containerd runc
2. 更新系統(tǒng)軟件包
sudo apt update && sudo apt upgrade -y
3. 安裝必要的依賴包
sudo apt-get install ca-certificates curl gnupg lsb-release
4. 添加 Docker 官方 GPG 密鑰
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
5. 添加阿里云 Docker 軟件源
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
6. 再次更新包，安裝 Docker
sudo apt-get update sudo apt-get install docker-ce docker-ce-cli containerd.io
7. 將當(dāng)前用戶加入 docker 組，后期免 sudo 執(zhí)行 docker 命令
sudo usermod -aG docker $USER
執(zhí)行后需要重啟或重新登錄才能生效：
sudo reboot
8. 驗(yàn)證安裝是否成功
# 啟動(dòng)服務(wù) sudo systemctl start docker # 設(shè)置開機(jī)自啟 sudo systemctl enable docker
運(yùn)行測(cè)試容器：
docker run hello-world
三、拉取最新版本vllm鏡像
docker pull vllm/vllm-openai:latest
四、下載模型到服務(wù)器并配置docker compose
1. 下載qwen模型
這里是在根目錄運(yùn)行，靈活調(diào)整
python3 -c "from huggingface_hub import snapshot_download; snapshot_download(repo_id='Qwen/Qwen3-8B', local_dir='./qwen3-docker/models/Qwen3-8B')"
2. 新建docker compose.yaml
services:
vllm:
container_name: vllm
restart: no
image: vllm/vllm-openai:latest
ipc: host
volumes:
- ./models:/models
command: ["--model", "/models/Qwen3-8B", "--served-model-name", "qwen3-8b", "--gpu-memory-utilization", "0.90", "--max-model-len", "8192"]
ports:
- 8000:8000
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
environment:
- LD_LIBRARY_PATH=/lib/x86_64-linux-gnu:/usr/local/cuda/lib64:${LD_LIBRARY_PATH}3. 運(yùn)行docker
docker compose up -d
4. 查看輸出
docker compose logs -f
五、雜項(xiàng)
進(jìn)入容器
docker exec -it 【contrainer id】 /bin/bash docker compose exec dl bash
測(cè)試能不能跑模型
curl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen3-8b",
"messages": [
{
"role": "system",
"content": "You are a helpful assistant."
},
{
"role": "user",
"content": "Who won the World Series in 2020?"
}
],
"stream": true
}'
監(jiān)控流量
watch -n 1 "netstat -i | grep ens21f0"
sudo apt install iftop -y sudo iftop -i ens21f0
總結(jié)
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
jenkins構(gòu)建Docker 鏡像實(shí)例詳解
這篇文章主要介紹了 jenkins構(gòu)建Docker 鏡像實(shí)例詳解的相關(guān)資料,需要的朋友可以參考下2017-04-04
文章講述了如何為Docker配置代理,包括守護(hù)進(jìn)程dockerd、容器運(yùn)行和構(gòu)建時(shí)的代理配置方法,并強(qiáng)調(diào)了不同場(chǎng)景下的適用性2024-11-11
這篇文章主要介紹了Docker如何查看容器映射路徑問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-11-11
這篇文章主要介紹了Docker如何導(dǎo)出某時(shí)間段日志問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-07-07
這篇文章主要介紹了Docker開啟遠(yuǎn)程安全訪問的詳細(xì)教程，本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2020-07-07
大家在使用一段時(shí)間的docker容器后,會(huì)發(fā)現(xiàn)堆疊了很多無用的垃圾文件,比如,終止的容器、限定不要的鏡像,混亂的存儲(chǔ)等,這篇文章主要介紹了Docker存儲(chǔ)空間清理以及另外的一些命令的相關(guān)資料,需要的朋友可以參考下2024-03-03
如何使用docker+frp進(jìn)行內(nèi)網(wǎng)穿透
這篇文章主要介紹了使用docker+frp進(jìn)行內(nèi)網(wǎng)穿透,在公網(wǎng)上的ubuntu系統(tǒng)需要配置相關(guān)操作,本文給大家介紹的非常詳細(xì),需要的朋友可以參考下2024-04-04
docker鏡像壓縮squash的實(shí)現(xiàn)
本文主要介紹了docker鏡像壓縮squash的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-07-07
這篇文章主要介紹了Docker容器無法停止刪除的解決方案，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-03-03
這篇文章主要介紹了docker圖形化工具portainer的相關(guān)知識(shí)，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借價(jià)值，需要的朋友可以參考下2024-01-01