詳解Python?Requests庫中的重試策略

更新時間：2023年11月07日 09:52:38 作者：K8sCat

在Python中,requests庫是處理HTTP請求的標準工具之一,這篇文章主要為大家介紹了如何在requests中實現請求的自動重試,感興趣的小伙伴可以跟隨小編一起學習一下

網絡請求由于各種原因可能會失敗，例如網絡波動、服務暫時不可達等。為了增強客戶端的健壯性，實現請求的自動重試是一個常見的做法。在Python中，requests庫是處理HTTP請求的標準工具之一。然而，requests本身并不直接提供重試機制，這需要借助urllib3庫中的Retry類來實現。

本文將介紹如何在requests中實現請求的自動重試。

1. 重試的必要性

在分布式系統中，服務間的通信可能會由于各種原因失敗。而自動重試機制能夠提高系統的可靠性和容錯能力。合理的重試策略可以減少暫時性故障導致的請求失敗。

2. 實現重試的基本原理

在requests中實現重試通常需要以下步驟：

導入必要的模塊。
創(chuàng)建一個HTTPAdapter實例。
在HTTPAdapter上配置Retry策略。
將配置好的HTTPAdapter掛載到Session對象上。
使用配置了重試的Session對象發(fā)送請求。

3. 使用urllib3實現重試

以下是一個具體的示例，展示如何為requests請求添加重試邏輯。

3.1. 導入模塊

首先，需要導入requests庫和urllib3的Retry類。

import requests
from requests.adapters import HTTPAdapter
from urllib3.util import Retry

3.2. 配置重試策略

使用Retry類來定義重試策略。這里可以指定重試次數、狀態(tài)碼集合、異常類型等。

retries = Retry(
    total=5,  # 總重試次數
    backoff_factor=1,  # 指數退避因子
    status_forcelist=[500, 502, 503, 504],  # 指定哪些狀態(tài)碼觸發(fā)重試
    allowed_methods=frozenset(['GET', 'POST']),  # 允許重試的HTTP方法
)

3.3. 創(chuàng)建HTTPAdapter并配置重試

創(chuàng)建一個HTTPAdapter實例，并設置重試策略。

adapter = HTTPAdapter(max_retries=retries)

3.4. 掛載Adapter到Session

創(chuàng)建Session對象，并為HTTP和HTTPS請求掛載上面創(chuàng)建的adapter。

pythonCopy code
session = requests.Session()
session.mount('http://', adapter)
session.mount('https://', adapter)

3.5. 發(fā)送請求

使用配置了重試策略的session對象發(fā)送請求。

url = "http://httpbin.org/status/500"
response = session.get(url)

4. 示例：請求一個可能返回錯誤的服務

以下是一個完整的示例，包括錯誤處理。

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def request_with_retry(url, max_retries=5, backoff_factor=1, status_forcelist=None):
    if status_forcelist is None:
        status_forcelist = [500, 502, 503, 504]
        
    session = requests.Session()
    retries = Retry(total=max_retries,
                    backoff_factor=backoff_factor,
                    status_forcelist=status_forcelist,
                    method_whitelist=["GET", "POST"])
    adapter = HTTPAdapter(max_retries=retries)
    session.mount('http://', adapter)
    session.mount('https://', adapter)
    
    try:
        response = session.get(url)
        response.raise_for_status()  # 如果請求返回的是4XX, 5XX響應碼，將引發(fā)HTTPError異常
        return response
    except requests.exceptions.HTTPError as e:
        print(f"HTTP Error: {e}")
    except requests.exceptions.ConnectionError as e:
        print(f"Connection Error: {e}")
    except requests.exceptions.Timeout as e:
        print(f"Timeout Error: {e}")
    except requests.exceptions.RequestException as e:
        print(f"Request Exception: {e}")

url = "http://httpbin.org/status/500"
response = request_with_retry(url)

if response:
    print(response.text)

在這個示例中，如果服務響應500系列錯誤，或者連接異常，request_with_retry函數將嘗試最多五次的請求。