docker?vllm開機(jī)啟動(dòng)方式
vllm 啟動(dòng)inter val大模型
/workspace/.devcontainer/devcontainer.json
{
"name": "vLLM Dev Container",
"image": "vllm/vllm-openai:v0.11.0",
"runArgs": ["--gpus", "all",
"-p", "8000:8000",
"-p", "8080:8080",
"--restart=unless-stopped"],
"mounts": [
"source=/data/lbg/models,target=/data/lbg/models,type=bind",
"source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
],
"workspaceFolder": "/workspace",
"postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
"customizations": {
"vscode": {
"extensions": [
"ms-python.python",
"ms-python.vscode-pylance"
]
}
}
}重啟驗(yàn)證
# 手動(dòng)停止容器,看它是否會(huì)自動(dòng)重啟 docker stop latex-ai-container # 等待 15 秒 sleep 15 # 檢查容器是否自動(dòng)啟動(dòng) docker ps | grep latex-ai-container 預(yù)期結(jié)果:容器應(yīng)該自動(dòng)重新啟動(dòng)(因?yàn)?unless-stopped 策略)。 3. 測(cè)試系統(tǒng)重啟(最終驗(yàn)證) bash # 重啟整個(gè)系統(tǒng) sudo reboot # 系統(tǒng)重啟后,重新登錄,執(zhí)行: docker ps | grep latex-ai-container curl http://localhost:8080/health
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
Docker-compose的安裝和設(shè)定詳細(xì)步驟
這篇文章主要介紹了Docker-compose的安裝和設(shè)定的相關(guān)資料,需要的朋友可以參考下2017-03-03
Docker Redis本地能Ping通但6379端口連不上的排查與解決方法
在 Linux 服務(wù)器上部署 Redis Docker 容器,本地連接正常,但遠(yuǎn)程主機(jī) telnet 端口不通,經(jīng)過層層排查,最終發(fā)現(xiàn)是 Linux 內(nèi)核參數(shù) net.ipv4.ip_forward 被關(guān)閉導(dǎo)致的,本文記錄了完整的排查思路與解決方案,需要的朋友可以參考下2026-05-05
基于Docker結(jié)合Canal實(shí)現(xiàn)MySQL實(shí)時(shí)增量數(shù)據(jù)傳輸功能
這篇文章主要介紹了基于Docker結(jié)合Canal實(shí)現(xiàn)MySQL實(shí)時(shí)增量數(shù)據(jù)傳輸功能,本文給圖文并茂給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-07-07
Docker實(shí)現(xiàn)容器化的分布式鎖服務(wù)RedisLock的快速搭建
本文主要介紹了Docker實(shí)現(xiàn)容器化的分布式鎖服務(wù)RedisLock的快速搭建,文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2026-04-04
Docker容器使用Arthas監(jiān)控Java應(yīng)用的完整指南
這篇文章主要為大家詳細(xì)介紹了如何在運(yùn)行中的 Docker 容器里,為目標(biāo) Java 進(jìn)程快速注入 Arthas 并進(jìn)行線上診斷,感興趣的小伙伴可以了解一下2025-08-08
Docker環(huán)境下Redis Lua腳本部署與執(zhí)行方式
這篇文章主要介紹了Docker環(huán)境下Redis Lua腳本部署與執(zhí)行方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2026-03-03
Docker network自定義網(wǎng)絡(luò)方式
這篇文章主要介紹了Docker network自定義網(wǎng)絡(luò)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-05-05

