在 PostgreSQL 中，Write-Ahead Logging（WAL）是保障數(shù)據(jù)持久性與崩潰恢復(fù)的核心機(jī)制。然而，在開啟 WAL 歸檔（archive_mode = on）或流復(fù)制（replication）的場景下，若未合理配置和管理，WAL 文件可能持續(xù)累積，最終導(dǎo)致磁盤空間耗盡，引發(fā)數(shù)據(jù)庫服務(wù)中斷甚至系統(tǒng)崩潰。

本文將系統(tǒng)性地詳解 如何防止 WAL 文件撐爆磁盤，涵蓋原理、風(fēng)險(xiǎn)識別、核心配置、監(jiān)控手段及最佳實(shí)踐，適用于 PostgreSQL 10 及以上版本（包括 12/13/14/15/16）。

一、WAL 文件為何會堆積？

WAL 文件（通常位于 pg_wal 目錄，舊版本為 pg_xlog）只有在滿足以下條件時才會被自動清理：

1. 已完成檢查點(diǎn)（checkpoint）；
2. 該 WAL 段不再被任何以下用途需要：
   • 崩潰恢復(fù)（crash recovery）
   • 流復(fù)制（standby 或 logical replication slot）
   • WAL 歸檔（archive_command 尚未成功執(zhí)行）
   • 邏輯復(fù)制槽（logical replication slot）未消費(fèi)
   • 用戶手動保留（如 pg_basebackup 運(yùn)行中）

常見導(dǎo)致 WAL 堆積的場景：

二、核心防護(hù)策略

策略 1：確保archive_command健壯可靠

這是最常見問題源頭。必須保證歸檔命令冪等、容錯、快速失敗。

錯誤示例：

archive_command = 'cp %p /archive/%f'

• 若 /archive 滿或權(quán)限不足，cp 失敗 → WAL 永久堆積。

正確做法：

archive_command = 'test ! -f /archive/%f && cp %p /archive/%f'

或使用帶超時和日志的腳本：

#!/bin/bash
# /usr/local/bin/archive_wal.sh
set -e
WAL_FILE="$1"
DEST="/archive/$WAL_FILE"

# 防止重復(fù)歸檔
if [ -f "$DEST" ]; then
  exit 0
fi

# 限制單次歸檔時間（避免 hang ?。?
timeout 30 cp "$PGDATA/pg_wal/$WAL_FILE" "$DEST" || {
  logger "ARCHIVE FAILED: $WAL_FILE"
  exit 1
}
logger "ARCHIVE SUCCESS: $WAL_FILE"
exit 0

archive_command = '/usr/local/bin/archive_wal.sh %f'

關(guān)鍵：任何情況下，失敗必須快速退出（exit 1），成功必須 exit 0。

策略 2：啟用并合理設(shè)置archive_timeout

強(qiáng)制定期切換 WAL 段，避免長時間無寫入導(dǎo)致歸檔停滯。

archive_timeout = 300    # 每 5 分鐘強(qiáng)制切換 WAL（即使無事務(wù)）

適用于低負(fù)載系統(tǒng)，確保歸檔持續(xù)進(jìn)行。

策略 3：監(jiān)控并限制復(fù)制槽的 WAL 保留量（PostgreSQL 13+）

從 v13 起，可設(shè)置全局上限：

max_slot_wal_keep_size = 2GB

• 當(dāng)所有復(fù)制槽所需的 WAL 總量超過此值，PostgreSQL 會自動丟棄最舊的 WAL，并標(biāo)記對應(yīng) slot 為 invalid。
• 避免因一個停滯的邏輯復(fù)制消費(fèi)者導(dǎo)致整個集群磁盤爆滿。

注意：v12 及以下無此參數(shù)，需手動監(jiān)控和清理。

策略 4：定期清理失效的復(fù)制槽

查詢停滯的 slot：

SELECT slot_name, slot_type, active, restart_lsn, 
       pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn) AS retained_bytes
FROM pg_replication_slots;

若 active = false 且 retained_bytes 持續(xù)增長，應(yīng)刪除：

SELECT pg_drop_replication_slot('stale_slot_name');

建議通過監(jiān)控告警自動處理。

策略 5：合理配置wal_keep_size（替代舊版wal_keep_segments）

控制主庫為備庫保留的 WAL 量（不依賴 slot）：

wal_keep_size = 1GB    # 保留至少 1GB 的 WAL 供備庫追趕

• 備庫斷連后，最多可落后 1GB WAL；
• 超出后，備庫需重建（re-init）。

避免設(shè)為過大（如 100GB），否則仍可能撐爆磁盤。

策略 6：使用pg_archivecleanup（僅用于歸檔目錄）

若使用基于歸檔的 PITR（而非流復(fù)制），可在備庫或歸檔服務(wù)器上定期清理舊 WAL：

# 保留最近 7 天的 WAL
find /archive -name "*.wal" -mtime +7 -delete

或使用 PostgreSQL 自帶工具（需指定最新需保留的 WAL）：

pg_archivecleanup /archive 000000010000000A000000B0

注意：pg_archivecleanup 不能用于主庫的 pg_wal 目錄！

三、關(guān)鍵監(jiān)控指標(biāo)

1. WAL 目錄大小

du -sh $PGDATA/pg_wal

2. WAL 積壓量（通過 LSN 差值）

-- 主庫：查看最滯后的 slot
SELECT slot_name, 
       pg_wal_lsn_diff(pg_current_wal_lsn(), restart_lsn) AS bytes_behind
FROM pg_replication_slots
ORDER BY bytes_behind DESC;

3. 歸檔失敗次數(shù)（需解析日志）

在 postgresql.conf 中啟用：

log_checkpoints = on
log_statement = 'none'
log_min_messages = warning

搜索日志中的：

LOG:  archive command failed

4. 使用check_postgres或 Prometheus Exporter

• check_postgres.pl --action=wal_files
• postgres_exporter 暴露 pg_wal_writes、pg_replication_slots 等指標(biāo)

四、應(yīng)急處理：磁盤已滿怎么辦？

1. 立即擴(kuò)容或清理其他文件（臨時緩解）；
2. 暫停非關(guān)鍵寫入，減少新 WAL 生成；
3. 強(qiáng)制推進(jìn)歸檔：

SELECT pg_switch_wal();  -- 強(qiáng)制切換當(dāng)前 WAL 段，促使其進(jìn)入歸檔隊(duì)列

1. 若歸檔失敗，手動修復(fù) archive_command 并重試；
2. 刪除無效復(fù)制槽（如確認(rèn)不再需要）；
3. 極端情況：臨時關(guān)閉 archive_mode（需重啟），但會丟失 PITR 能力，慎用！

五、實(shí)踐建議

六、配置案例（生產(chǎn)環(huán)境推薦）

# WAL 基礎(chǔ)
wal_level = replica
max_wal_size = 4GB
min_wal_size = 1GB
checkpoint_timeout = 15min
checkpoint_completion_target = 0.9

# 歸檔
archive_mode = on
archive_command = '/usr/local/bin/archive_wal.sh %f'
archive_timeout = 300

# 復(fù)制控制（v13+）
max_slot_wal_keep_size = 8GB
wal_keep_size = 2GB

# 日志
log_checkpoints = on
log_min_messages = warning

總結(jié)：WAL 管理是 PostgreSQL 高可用與數(shù)據(jù)安全的基石，但也是運(yùn)維中最易忽視的風(fēng)險(xiǎn)點(diǎn)。“能寫入”不等于“能歸檔”，必須從架構(gòu)設(shè)計(jì)、配置、監(jiān)控到應(yīng)急響應(yīng)形成閉環(huán)。通過上述策略，可有效避免因 WAL 堆積導(dǎo)致的災(zāi)難性故障，保障數(shù)據(jù)庫穩(wěn)定運(yùn)行。

以上就是PostgreSQL防止WAL文件撐爆磁盤的策略指南的詳細(xì)內(nèi)容，更多關(guān)于PostgreSQL防止WAL撐爆磁盤的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論