最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

docker?vllm開機(jī)啟動(dòng)方式

 更新時(shí)間:2026年05月13日 08:58:09   作者:AI算法網(wǎng)奇  
文章內(nèi)容是關(guān)于vllm啟動(dòng)大模型的個(gè)人經(jīng)驗(yàn)總結(jié),主要涉及啟動(dòng)腳本中的interval參數(shù)設(shè)置,以及重啟驗(yàn)證的步驟,建議大家參考并支持腳本之家

vllm 啟動(dòng)inter val大模型

/workspace/.devcontainer/devcontainer.json

{
    "name": "vLLM Dev Container",
    "image": "vllm/vllm-openai:v0.11.0",
    "runArgs": ["--gpus", "all",
               "-p", "8000:8000",
               "-p", "8080:8080",
               "--restart=unless-stopped"],
    "mounts": [
        "source=/data/lbg/models,target=/data/lbg/models,type=bind",
        "source=/data/lbg/latex_fanyi/,target=/workspace,type=bind"
    ],
    "workspaceFolder": "/workspace",
    "postCreateCommand": "pip install --ignore-installed blinker==1.9.0 flask flask-cors requests && cd /workspace && (vllm serve /data/lbg/models/brandonbeiler_InternVL3_5-8B-FP8-Dynamic --quantization compressed-tensors --served-model-name internvl3_5-8b --trust-remote-code --max-model-len 2048 --tensor-parallel-size 1 &) && sleep 10 && python3 /workspace/server.py",
    "customizations": {
        "vscode": {
            "extensions": [
                "ms-python.python",
                "ms-python.vscode-pylance"
            ]
        }
    }
}

重啟驗(yàn)證

# 手動(dòng)停止容器,看它是否會(huì)自動(dòng)重啟
docker stop latex-ai-container
# 等待 15 秒
sleep 15
# 檢查容器是否自動(dòng)啟動(dòng)
docker ps | grep latex-ai-container
預(yù)期結(jié)果:容器應(yīng)該自動(dòng)重新啟動(dòng)(因?yàn)?unless-stopped 策略)。
3. 測(cè)試系統(tǒng)重啟(最終驗(yàn)證)
bash
# 重啟整個(gè)系統(tǒng)
sudo reboot
# 系統(tǒng)重啟后,重新登錄,執(zhí)行:
docker ps | grep latex-ai-container
curl http://localhost:8080/health

總結(jié)

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

最新評(píng)論

浦城县| 南康市| 青川县| 德令哈市| 南昌县| 巴青县| 闻喜县| 社旗县| 新田县| 佛山市| 屏山县| 独山县| 桂平市| 象山县| 绍兴市| 许昌县| 吉安县| 闻喜县| 甘南县| 呼和浩特市| 丹东市| 腾冲县| 孙吴县| 武强县| 阿拉善盟| 崇文区| 读书| 舒兰市| 廊坊市| 崇仁县| 乡宁县| 通山县| 信丰县| 兰考县| 石门县| 南岸区| 疏附县| 东明县| 社会| 衡水市| 延安市|