解決Python httpx 運行過程中無限阻塞的問題
更新時間：2022年11月28日 17:03:25 作者：多多魚啊
這篇文章主要介紹了解決Python httpx 運行過程中無限阻塞的問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
Python httpx 運行過程中無限阻塞
requests 模塊只支持 http1，在遇到 http2 的數(shù)據(jù)接口的時候（某乎的搜索接口），需要采用支持http2 請求的模塊（如 httpx、hyper）。
本文是針對 httpx 在請求數(shù)據(jù)時，出現(xiàn)無限阻塞問題的一些處理方法。
httpx 的 timeout 有 bug，會導致腳本在運行一段時間后，出現(xiàn)線程阻塞卡死的問題（無限 timeout）。
1.通過 pm2 部署腳本
另外啟動一個腳本，定時對該腳本進行重啟操作。
舉個栗子：
import time
import os
while True:
? ? time.sleep(60 * 60) # 一小時重啟一次
? ? os.system('pm2 restart test') ?這個方法有個不好的地方，在請求過程中，可能需要翻很多頁，如果不斷重啟腳本，可能導致無法翻到最后一頁。
2.通過裝飾器給函數(shù)設置一個最大執(zhí)行超時時間
當函數(shù)執(zhí)行時間超過某個時間就拋出 TimeOut 異常
from func_timeout import func_set_timeout
import func_timeout
import time
@func_set_timeout(5) ?# 函數(shù)最大執(zhí)行時間 5s
def test():
? ? time.sleep(20)
def run():
? ? try:
? ? ? ? test()
? ? ? ? print('test 函數(shù)執(zhí)行完成')
? ? except func_timeout.exceptions.FunctionTimedOut:
? ? ? ? print('test 函數(shù)執(zhí)行超時')
run()如上面例子那樣，在 httpx.Client 所在函數(shù)設置一個額外等待時間，當該函數(shù)執(zhí)行時間超過某個時間，就強制拋出 timeout 異常，避免程序無限阻塞。
python爬蟲httpx的用法
安裝命令：pip install httpx
請求方式
GET
import httpx
?
headers = {'user-agent': 'my-app/1.0.0'}
params = {'key1': 'value1', 'key2': 'value2'}
url = 'https://httpbin.org/get'
r = httpx.get(url, headers=headers, params=params)POST
r = httpx.post('https://httpbin.org/post', data={'key': 'value'})?PUT
r = httpx.put('https://httpbin.org/put', data={'key': 'value'})DELETE
r = httpx.delete('https://httpbin.org/delete')?以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
Python OpenCV高斯金字塔與拉普拉斯金字塔的實現(xiàn)
這篇文章主要介紹了Python OpenCV高斯金字塔與拉普拉斯金字塔的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-03-03
這篇文章主要給大介紹Python字符串和分享其常用函數(shù)合集，字符串、首字母大寫定義、所有字母大寫、所有字母小寫等函數(shù)，具有一定的參考價值,需要的朋友可以參考一下2022-03-03
這篇文章主要給大家介紹了關于python海龜繪圖之畫國旗的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
這篇文章主要介紹了python中numpy 數(shù)組過濾詳解的相關資料,需要的朋友可以參考下2023-06-06
本文主要介紹了Pandas多個條件(AND,OR,NOT)中提取行，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-02-02
短鏈接，通俗來說，就是將長的URL網(wǎng)址，通過程序計算等方式，轉換為簡短的網(wǎng)址字符串。本文將用Python語言實現(xiàn)這一效果，需要的可以參考一下2022-11-11
函數(shù)內部定義的變量就叫局部變量而如果一個變量既能在一個函數(shù)中使用，也可以在其他函數(shù)中使用，這樣的變量就是全局變量。 本文給大家介紹python的局部變量和全局變量的相關知識，感興趣的朋友一起看看吧2019-08-08
Jupyter notebook如何實現(xiàn)指定瀏覽器打開
這篇文章主要介紹了Jupyter notebook如何實現(xiàn)指定瀏覽器打開,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-05-05
Python實現(xiàn)讀取.nc數(shù)據(jù)并提取指定時間與經緯度維度對應的變量數(shù)值
這篇文章主要為大家詳細介紹了如何使用Python語言的netCDF4庫實現(xiàn)讀取.nc格式的數(shù)據(jù)文件,并提取指定維（時間、經度與緯度）下的變量數(shù)據(jù),需要的可以了解下2024-02-02
這篇文章主要介紹了Python捕獲異常堆棧信息的幾種方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-05-05