Python Http發(fā)送請求淺析

更新時間：2022年06月08日 14:24:00 作者：? AMo? ?

這篇文章主要介紹了Python Http發(fā)送請求淺析，文章主要通過從requests、aiohttp、httpx三個接口請求展開詳情，需要的朋友可以參考一下文章具體詳細內容

前言

相信很多人使用Python做接口請求（Http客戶端請求）的時候，很多人肯定用過這幾個：urllib，urllib3，requests.沒錯，反正我常用，而且在我這里出現最多最靚眼的那個崽是requests, 畢竟普通接口請求，爬蟲常用，而且封裝起來后使用更為簡單。所以在這篇文章里面，它是我淺析研究三國鼎立的其中之一。

這篇文章主要淺析這三個：

requests
aiohttp
httpx

淺析requests

在不借助其他第三方庫的情況下，requests 只能發(fā)送同步請求。requests 是一個Python第三方庫，處理URL資源特別方便，而且相對于urllib3來說封裝了更多功能，并且使用步驟簡單。

我們深入一下到requests api源碼來看一下：

從圖片來看，其實可以大概看出requests支持哪些功能然后圈紅的其實是最常用的一些功能，也就是可以設置請求方式，請求頭，cookie，過期時間，請求接口驗證，文件上傳等等功能。

整理了日常大概常用的方，應該是下面這幾種格式：

# get 請求
requests.get(url, params)

# post 請求
requests.post(url, data)
# 文件上傳
upload_files = {'file': open('report.xls', 'rb')}
requests.post(url, file=upload_files)  
# 設置header
headers = {'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'}
requests.post(url, headers=headers)
# 設置cookie
cookies = {'token': '12345', 'status': '摸魚'}
requests.post(url, cookies=cookies)

如果單純請求一個接口，獲取接口數據的話，上面的完全夠用了，不需要額外的操作。

但是requests有時候挺多用在爬蟲場景下，爬蟲有的需要保持登錄信息去爬取其他接口，那么單純的去使用requests.get 或者 requests.post，這都是一次性的請求，是不太滿足需求的。對于登錄成功，再去請求其他的接口，可能需要之前生成的cookie或者token，這時候，這些信息就需要進行保存。對于這種情況，可以使用requests.session,它可以自動處理cookies，做狀態(tài)保持.

大概的使用步驟應該是這樣子：

# 先實例化一個對象
session = requests.session()
# 給 requests.session() 對象設置cookie信息，這個看情況使用，具體情況具體分析啊
cookies_dict = {}
session.cookies = requests.utils.cookiejar_from_dict(cookies_dict)
# 后面用法和直接使用requests一樣了
# get請求
response = session.get(url)
# post請求
response = session.post(url, json=json_data)
result = response.json()
#獲取登陸的所有cookies信息
print(result.cookies.values())

通過上面這些大概步驟，對于信息狀態(tài)保持是已經足夠了，這時候再用這些保持的信息去爬取接口是沒有多大問題的（按道理啊，經典案例的話可以去模擬爬取一下淘寶PC端，本文具體的就不介紹了。）

淺析aiohttp

在不借助其他第三方庫的情況下，aiohttp只能發(fā)送異步請求。

其實，人都是貪心的，在同步請求足夠完成需求后，那么人就會去從其他方面去提升，比如同樣的接口，希望能更快的處理返回，減少消耗時間，不希望阻塞。

那么隨著這種需要，那么異步請求也就出現了。目前支持異步請求的方式有 async/await+asyncio+requests 組合構成，也可以使用aiohttp.aiohttp是一個為Python提供異步HTTP客戶端、服務端編程，基于asyncio的異步庫。aiohttp 同樣是可以設置請求方式，請求頭，cookie，代理，上傳文件等功能的

大概用代碼來表示，應該是常見這些：

# post 請求
payload = {
        "data": "hello world"
    }
async with aiohttp.ClientSession() as session:
	async with session.post(url, json=payload) as resp:
		print(resp.status)
# get請求
# 創(chuàng)建使用session
async with aiohttp.ClientSession() as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

# 上傳文件
files = {'file': open('report.xls', 'rb')}
async with aiohttp.ClientSession() as sess:
	async with sess.post(url, data=files) as resp:
		print(resp.status)
		print(await resp.text())

# 設置header, cookie
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸魚'}
async with aiohttp.ClientSession(headers=headers, cookies=cookies) as session:
	async with session.get(url) as resp:
		print(resp.status)
		res = await resp.text()
		return res

當然異步的請求，多可以是對接口返回數據在其他地方沒有太強的依賴，異步的作用更多是用于提高效率，節(jié)省同步等待時間。

淺析httpx

在不借助其他第三方庫的情況下，httpx既能發(fā)送同步請求，又能發(fā)送異步請求

httpx是Python新一代的網絡請求庫，它包含以下特點：

1.基于Python3的功能齊全的http請求模塊
2.既能發(fā)送同步請求，也能發(fā)送異步請求
3.支持HTTP/1.1和HTTP/2
4.能夠直接向WSGI應用程序或者ASGI應用程序發(fā)送請求

安裝 httpx需要Python3.6+（使用異步請求需要Python3.8+）

httpx是Python新一代的網絡請求庫, 功能和requests基本都一致，但是requests在沒有第三方庫的支持下只能發(fā)同步請求，但是httpx不僅可以發(fā)同步請求，還可以異步，這個是比requests要好的。因為和requests差不多，那么requests能支持設置的，那么httpx也同樣可以支持

基本的使用方法：

data = {
    'name': 'autofelix',
    'age': 25
}

# get請求
httpx.get(url,params=data)
# post請求
httpx.post(url, data=data)

# 設置header,cookie,timeout
headers = {'User-Agent': 'your agent'}
cookies= {'cookies_are': '摸魚'}
httpx.get(url, headers=headers, cookies=cookies, timeout=10.0)

# 使用client發(fā)送（同步）請求
with httpx.Client() as client:
   response = client.get(url)

異步操作, 使用async/await語句來進行異步操作，使用異步client比使用多線程發(fā)送請求更加高效，更能體現明顯的性能優(yōu)勢

import asyncio
import httpx

async def main():
    # 異步請求AsyncClient
? ? async with httpx.AsyncClient() as client:
? ? ? ? response = await client.get(url)
? ? ? ? print(response)

if __name__ == '__main__':
    # python3.7+ 支持寫法
    # asyncio.run(main())
    # python3.6及以下版本寫法
    loop = asyncio.get_event_loop()
    result = loop.run_until_complete(asyncio.gather(main()))
    loop.close()

大體看下，同步請求使用httpx.client(), 異步請求使用httpx.AsyncClient(), 然后其他的一些基本用法都大體相似?？梢哉f，如果你對requests熟練，那么對于aiohttp以及httpx也是很快就能上手理解的。