網(wǎng)絡(luò)環(huán)境的不穩(wěn)定性及服務(wù)短暫不可達(dá)等因素可能導(dǎo)致HTTP請(qǐng)求失敗。為了強(qiáng)化Python客戶端的韌性和自我恢復(fù)能力，實(shí)現(xiàn)請(qǐng)求自動(dòng)重試成為了一種常見(jiàn)的最佳實(shí)踐。

在Python生態(tài)系統(tǒng)中，requests庫(kù)作為處理HTTP請(qǐng)求的標(biāo)準(zhǔn)工具備受青睞，但它自身并未直接提供重試機(jī)制，此時(shí)，我們需要借助urllib3庫(kù)中的Retry類來(lái)補(bǔ)充這一功能。

1. 重試機(jī)制的必要性

在大規(guī)模分布式系統(tǒng)環(huán)境下，服務(wù)間通信由于多種原因（如網(wǎng)絡(luò)抖動(dòng)、服務(wù)瞬時(shí)不可達(dá)等）可能面臨失敗的風(fēng)險(xiǎn)。

通過(guò)引入自動(dòng)重試機(jī)制，能夠有效提升系統(tǒng)的整體可靠性和容錯(cuò)性能，尤其對(duì)于緩解暫時(shí)性故障造成的請(qǐng)求失敗現(xiàn)象，合理設(shè)計(jì)的重試策略顯得至關(guān)重要。

2. 實(shí)現(xiàn)重試機(jī)制的基本流程

在requests庫(kù)中實(shí)現(xiàn)請(qǐng)求自動(dòng)重試通常遵循以下五個(gè)步驟：

• 導(dǎo)入必需模塊：引入requests庫(kù)及其內(nèi)部組件，同時(shí)包含urllib3的Retry類。
• 創(chuàng)建HTTPAdapter實(shí)例：初始化一個(gè)HTTPAdapter對(duì)象，它是自定義請(qǐng)求適配器。
• 配置Retry策略：在HTTPAdapter上定義并設(shè)置重試規(guī)則，包括重試次數(shù)、狀態(tài)碼范圍、異常類型等條件。
• 將Adapter掛載到Session：將配置好的重試策略關(guān)聯(lián)到Session對(duì)象，以便所有通過(guò)該Session發(fā)出的請(qǐng)求均能應(yīng)用此重試策略。
• 使用帶有重試策略的Session發(fā)送請(qǐng)求：最后，利用配置了重試功能的Session對(duì)象執(zhí)行實(shí)際的HTTP請(qǐng)求。

3. 使用urllib3實(shí)現(xiàn)重試邏輯

接下來(lái)通過(guò)具體示例詳細(xì)說(shuō)明如何為requests請(qǐng)求添加重試邏輯。

3.1. 導(dǎo)入相關(guān)模塊

首先，確保正確導(dǎo)入所需的庫(kù)和類。

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

3.2. 配置重試策略

利用Retry類定義一個(gè)自定義的重試策略，可以針對(duì)重試次數(shù)、指數(shù)退避因子、特定狀態(tài)碼列表以及允許重試的HTTP方法進(jìn)行精確控制。

# 定義重試策略，例如：總共重試5次，每次重試之間按指數(shù)退避，針對(duì)特定狀態(tài)碼進(jìn)行重試，并僅限于GET和POST方法
retries = Retry(
    total=5,  # 總共嘗試重試次數(shù)
    backoff_factor=1,  # 指數(shù)退避因子，用于計(jì)算兩次重試之間的等待時(shí)間
    status_forcelist=[500, 502, 503, 504],  # 觸發(fā)重試的狀態(tài)碼集合
    allowed_methods=frozenset(["GET", "POST"]),  # 允許重試的HTTP方法
)

3.3. 創(chuàng)建HTTPAdapter并設(shè)置重試策略

創(chuàng)建一個(gè)HTTPAdapter實(shí)例，并為其配置前面定義好的重試策略。

1adapter = HTTPAdapter(max_retries=retries)  # 創(chuàng)建HTTPAdapter并設(shè)置最大重試次數(shù)

3.4. 將Adapter掛載至Session

創(chuàng)建一個(gè)Session對(duì)象，并將上述已配置好重試策略的adapter應(yīng)用于HTTP和HTTPS協(xié)議的請(qǐng)求。

session = requests.Session()
session.mount('http://', adapter)  # 對(duì)HTTP請(qǐng)求啟用重試策略
session.mount('https://', adapter)  # 對(duì)HTTPS請(qǐng)求啟用重試策略

3.5. 發(fā)送具有重試功能的請(qǐng)求

使用配置了重試策略的session對(duì)象向目標(biāo)URL發(fā)起請(qǐng)求。

url = "http://httpbin.org/status/500"
response = session.get(url)  # 使用具有重試功能的Session對(duì)象發(fā)送請(qǐng)求

4. 示例：請(qǐng)求一個(gè)可能返回錯(cuò)誤的服務(wù)

以下是一個(gè)完整的示例，其中包含了錯(cuò)誤處理機(jī)制：

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def request_with_retry(url, max_retries=5, backoff_factor=1, status_forcelist=None):
    if status_forcelist is None:
        status_forcelist = [500, 502, 503, 504]  # 默認(rèn)重試狀態(tài)碼集合

    session = requests.Session()
    retries = Retry(total=max_retries,
                    backoff_factor=backoff_factor,
                    status_forcelist=status_forcelist,
                    method_whitelist=["GET", "POST"])
    adapter = HTTPAdapter(max_retries=retries)
    session.mount('http://', adapter)
    session.mount('https://', adapter)

    try:
        response = session.get(url)
        response.raise_for_status()  # 如果響應(yīng)狀態(tài)碼為4XX或5XX，將拋出HTTPError異常
        return response
    except requests.exceptions.HTTPError as e:
        print(f"HTTP 錯(cuò)誤: {e}")
    except requests.exceptions.ConnectionError as e:
        print(f"連接錯(cuò)誤: {e}")
    except requests.exceptions.Timeout as e:
        print(f"超時(shí)錯(cuò)誤: {e}")
    except requests.exceptions.RequestException as e:
        print(f"請(qǐng)求異常: {e}")

url = "http://httpbin.org/status/500"
response = request_with_retry(url)

if response:
    print(response.text)

在上述示例中，當(dāng)服務(wù)返回500系列錯(cuò)誤或是發(fā)生連接異常時(shí)，request_with_retry函數(shù)將按照預(yù)設(shè)的最大重試次數(shù)（默認(rèn)為5次）嘗試重新發(fā)起請(qǐng)求。

結(jié)論

結(jié)合Python的requests庫(kù)與urllib3的Retry類，我們可以輕松實(shí)現(xiàn)HTTP請(qǐng)求的自動(dòng)重試機(jī)制，從而顯著增強(qiáng)應(yīng)用程序應(yīng)對(duì)網(wǎng)絡(luò)波動(dòng)的能力。

特別是在微服務(wù)架構(gòu)、API調(diào)用等場(chǎng)景下，這一策略尤為關(guān)鍵。然而，務(wù)必注意合理設(shè)定重試次數(shù)和策略，避免過(guò)度重試導(dǎo)致服務(wù)器負(fù)載過(guò)大。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評(píng)論