最近在部署一個(gè)內(nèi)容服務(wù)時(shí)，遇到線上 502 Bad Gateway。這次故障非常典型：表面現(xiàn)象全部指向 Nginx 和 Docker 網(wǎng)絡(luò)，最終根因卻在應(yīng)用代碼里的一把鎖。完整復(fù)盤如下。

一、項(xiàng)目背景

本次部署結(jié)構(gòu)很常見(jiàn)：

• 業(yè)務(wù)服務(wù)容器：story-service（FastAPI + Uvicorn）
• 網(wǎng)關(guān)容器：nginx-gateway（反向代理）
• 兩者都在同一臺(tái)服務(wù)器的 Docker 環(huán)境中
• 設(shè)計(jì)上通過(guò)同一個(gè) Docker 網(wǎng)絡(luò)互通，Nginx 用容器名反代業(yè)務(wù)服務(wù)

部署完成后，用戶訪問(wèn)接口返回 502，開(kāi)始排查。

二、故障現(xiàn)象

1）宿主機(jī)探活失敗

curl -i http://127.0.0.1:8070/health

返回：

curl: (56) Recv failure: Connection reset by peer

2）容器內(nèi)探活也失敗

容器是精簡(jiǎn)鏡像，沒(méi)有 curl/ss，改用 Python 探活：

docker exec -i story-service python - <<'PY'
import urllib.request
for p in (8080, 8070):
    url=f"http://127.0.0.1:{p}/health"
    try:
        with urllib.request.urlopen(url, timeout=3) as r:
            print(url, "OK", r.status, r.read().decode("utf-8", "ignore"))
    except Exception as e:
        print(url, "FAIL", repr(e))
PY

結(jié)果：

• http://127.0.0.1:8080/health -> Connection refused
• http://127.0.0.1:8070/health -> Connection refused

這一步非常關(guān)鍵：容器內(nèi)回環(huán)都連不上，說(shuō)明不是 Nginx 轉(zhuǎn)發(fā)層的問(wèn)題，應(yīng)用根本沒(méi)監(jiān)聽(tīng)端口。

三、排查命令與結(jié)論

1）查看容器狀態(tài)

docker ps -a --filter "name=story-service"

用于判斷容器是否在異常重啟或退出。

2）查看實(shí)時(shí)日志

docker logs -f story-service

日志顯示數(shù)據(jù)庫(kù)初始化成功，但啟動(dòng)流程停在“確保管理員賬號(hào)”階段，沒(méi)有出現(xiàn) Uvicorn running on ... 監(jiān)聽(tīng)日志。

3）核對(duì)端口映射

docker port story-service

確認(rèn)了映射關(guān)系，但由于容器內(nèi)端口本身未監(jiān)聽(tīng)，映射正確也無(wú)效。

4）核對(duì)啟動(dòng)參數(shù)

docker inspect story-service --format '{{.Path}} {{range .Args}}{{.}} {{end}}'

用于確認(rèn) uvicorn 啟動(dòng)參數(shù)和監(jiān)聽(tīng)端口是否一致。

5）核對(duì)網(wǎng)絡(luò)連通基礎(chǔ)

docker network inspect mynet

確認(rèn) Nginx 與業(yè)務(wù)容器都在同一網(wǎng)絡(luò)中，排除基礎(chǔ)網(wǎng)絡(luò)隔離問(wèn)題。

四、根因定位

根因在數(shù)據(jù)庫(kù)初始化鏈路的鎖重入：

• 應(yīng)用啟動(dòng)時(shí)執(zhí)行 ensure_admin_user()
• ensure_admin_user() 內(nèi)部可能調(diào)用 create_user()
• create_user() 又會(huì)走到 get_conn()
• 多個(gè)函數(shù)嘗試獲取同一把鎖
• 代碼使用的是 threading.Lock()（不可重入）

結(jié)果是同線程重復(fù)加鎖，啟動(dòng)階段發(fā)生死鎖。進(jìn)程沒(méi)有直接崩潰，但 startup 卡住，服務(wù)端口始終不監(jiān)聽(tīng)，最終表現(xiàn)為 502。

五、修復(fù)方式

將數(shù)據(jù)庫(kù)模塊鎖改為可重入鎖：

• threading.Lock() 改為 threading.RLock()

修復(fù)后重新部署，日志出現(xiàn)正常監(jiān)聽(tīng)信息，容器內(nèi) health 可達(dá)，Nginx 502 消失，服務(wù)恢復(fù)。

六、兩個(gè)排障細(xì)節(jié)

1）docker exec+ heredoc 不要用-t

錯(cuò)誤寫法會(huì)報(bào)：

the input device is not a TTY

正確寫法是 -i：

docker exec -i story-service python - <<'PY'
...
PY

2）python:slim沒(méi)有curl/ss是常態(tài)

不必先改鏡像，直接用 Python 內(nèi)置庫(kù)做 HTTP 探活即可完成核心定位。

七、復(fù)盤總結(jié)

這次故障最容易誤判為“網(wǎng)絡(luò)問(wèn)題”，但真正根因是“應(yīng)用啟動(dòng)死鎖”。
有效的排障順序是：

1. 先看應(yīng)用是否真正監(jiān)聽(tīng)端口（容器內(nèi)回環(huán)探活）
2. 再看端口映射
3. 最后看 Nginx 與 Docker 網(wǎng)絡(luò)

當(dāng) 502 出現(xiàn)時(shí)，先證明“后端服務(wù)真的活著”，再談代理層配置，效率最高。

到此這篇關(guān)于Docker遇到502問(wèn)題的排查與解決方法的文章就介紹到這了,更多相關(guān)Docker遇到502問(wèn)題內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論