Python中HTTP請求的全面指南
在現(xiàn)代網(wǎng)絡應用中，HTTP（HyperText Transfer Protocol）協(xié)議是客戶端與服務器之間數(shù)據(jù)傳輸?shù)暮诵?。作為Python開發(fā)者，了解和掌握如何發(fā)送和處理HTTP請求至關(guān)重要。無論你是開發(fā)Web應用、爬蟲，還是進行API集成，本文都將從基礎到高級，逐步引導你成為HTTP請求處理的高手。
一、HTTP請求基礎知識
HTTP是一種無狀態(tài)的應用層協(xié)議，用于客戶端和服務器之間的數(shù)據(jù)傳輸。其主要特點包括請求-響應模型、無狀態(tài)性以及對多種數(shù)據(jù)格式的支持。
- 請求-響應模型：客戶端發(fā)送請求，服務器處理請求并返回響應。
- 無狀態(tài)：每個請求都是獨立的，服務器不會記住前一個請求的狀態(tài)。
- 支持多種數(shù)據(jù)格式：HTTP可以傳輸文本、圖像、視頻等多種類型的數(shù)據(jù)。
一個HTTP請求由請求行、請求頭和請求體三部分組成：
- 請求行：包含請求方法（如GET、POST）、請求URL和HTTP版本。
- 請求頭：包含請求的附加信息，如瀏覽器類型、接受的內(nèi)容類型等。
- 請求體：可選部分，通常用于POST請求，包含要發(fā)送的數(shù)據(jù)。
一個HTTP響應則包含狀態(tài)行、響應頭和響應體：
- 狀態(tài)行：包含HTTP版本、狀態(tài)碼（如200、404）和狀態(tài)信息。
- 響應頭：包含響應的附加信息，如內(nèi)容類型、內(nèi)容長度等。
- 響應體：實際的響應數(shù)據(jù)，如HTML頁面、JSON數(shù)據(jù)等。
二、Python中的HTTP請求庫
Python提供了多個模塊和庫來處理HTTP請求和響應，其中最常用的庫是requests。requests庫功能強大且易于使用，是發(fā)送HTTP請求的流行選擇。
安裝requests庫
你可以使用pip命令來安裝requests庫：
pip install requests
使用requests庫發(fā)送HTTP請求
requests庫提供了簡單的API來發(fā)送HTTP請求，包括GET、POST、PUT、DELETE等常見方法。
GET請求
GET請求用于從服務器獲取數(shù)據(jù)。以下是一個簡單的GET請求示例：
import requests
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print(response.status_code) # 打印狀態(tài)碼
print(response.json()) # 打印返回的JSON數(shù)據(jù)
在這個例子中，我們發(fā)送了一個GET請求到https://jsonplaceholder.typicode.com/posts，并打印了響應的狀態(tài)碼和JSON數(shù)據(jù)。
POST請求
POST請求用于向服務器發(fā)送數(shù)據(jù)。以下是一個簡單的POST請求示例：
import requests
data = {'title': 'foo', 'body': 'bar', 'userId': 1}
response = requests.post('https://jsonplaceholder.typicode.com/posts', json=data)
print(response.status_code) # 打印狀態(tài)碼
print(response.json()) # 打印返回的JSON數(shù)據(jù)
在這個例子中，我們發(fā)送了一個POST請求到https://jsonplaceholder.typicode.com/posts，并發(fā)送了包含標題、正文和用戶ID的JSON數(shù)據(jù)。
PUT請求
PUT請求用于更新服務器上的資源。以下是一個簡單的PUT請求示例：
import requests
data = {'id': 1, 'title': 'updated title', 'body': 'updated body', 'userId': 1}
response = requests.put('https://jsonplaceholder.typicode.com/posts/1', json=data)
print(response.status_code) # 打印狀態(tài)碼
print(response.json()) # 打印返回的JSON數(shù)據(jù)
在這個例子中，我們發(fā)送了一個PUT請求到https://jsonplaceholder.typicode.com/posts/1，并更新了指定帖子的標題、正文和用戶ID。
DELETE請求
DELETE請求用于刪除服務器上的資源。以下是一個簡單的DELETE請求示例：
import requests
response = requests.delete('https://jsonplaceholder.typicode.com/posts/1')
print(response.status_code) # 打印狀態(tài)碼
在這個例子中，我們發(fā)送了一個DELETE請求到https://jsonplaceholder.typicode.com/posts/1，并刪除了指定帖子。
三、處理HTTP響應
在處理HTTP響應時，我們通常需要獲取狀態(tài)碼、響應頭和響應體。
獲取狀態(tài)碼
狀態(tài)碼表示請求的處理結(jié)果，常見狀態(tài)碼包括：
- 200：請求成功。
- 404：請求的資源未找到。
- 500：服務器內(nèi)部錯誤。
獲取狀態(tài)碼的示例：
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print(f"狀態(tài)碼: {response.status_code}")
獲取響應頭
響應頭包含服務器返回的附加信息，可以通過headers屬性獲?。?/p>
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print("響應頭:")
for key, value in response.headers.items():
print(f"{key}: {value}")
獲取響應體
響應體是實際的數(shù)據(jù)內(nèi)容，可以通過text或json()方法獲?。?/p>
response = requests.get('https://jsonplaceholder.typicode.com/posts')
print("響應體:")
print(response.text) # 以字符串形式獲取
print(response.json()) # 以JSON格式獲取
四、高級技巧與實踐
除了基本的HTTP請求和響應處理外，還有一些高級技巧和實踐可以幫助你更高效地發(fā)送和處理HTTP請求。
使用連接池
建立HTTP連接是一個耗時的操作，為了減少連接的開銷，你可以使用連接池來復用已有的連接。在requests庫中，你可以通過設置Session對象來啟用連接池。
import requests
session = requests.Session()
# 使用session發(fā)送多個請求
response1 = session.get('https://jsonplaceholder.typicode.com/posts/1')
response2 = session.get('https://jsonplaceholder.typicode.com/posts/2')
# 關(guān)閉session
session.close()
設置請求頭
在發(fā)送HTTP請求時，設置合適的請求頭信息是非常重要的。例如，設置User-Agent可以模擬不同的瀏覽器行為，設置Accept-Encoding可以支持壓縮以減少傳輸?shù)臄?shù)據(jù)量。
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get('https://example.com', headers=headers)
處理Cookies和Session
如果需要保持會話狀態(tài)或進行多次請求，建議使用requests.Session()來管理會話，它會自動處理Cookies的持久化和發(fā)送。
session = requests.Session()
# 登錄并獲取cookies
login_data = {'username': 'your_username', 'password': 'your_password'}
response = session.post('https://example.com/login', data=login_data)
# 使用session發(fā)送其他請求
response = session.get('https://example.com/protected_page')
錯誤處理
檢查HTTP響應狀態(tài)碼以確保請求成功。對于非200的響應，應適當處理錯誤，并記錄詳細的錯誤信息以便調(diào)試。
try:
response = requests.get('https://example.com/nonexistent_page')
response.raise_for_status() # 如果狀態(tài)碼不是200，則引發(fā)HTTPError異常
except requests.exceptions.HTTPError as errh:
print("Http Error:", errh)
except requests.exceptions.ConnectionError as errc:
print("Error Connecting:", errc)
except requests.exceptions.Timeout as errt:
print("Timeout Error:", errt)
except requests.exceptions.RequestException as err:
print("OOps: Something Else", err)
設置超時時間
為了防止請求無限期地等待，應設置合理的超時時間。這可以通過在請求中傳遞timeout參數(shù)來實現(xiàn)。
response = requests.get('https://example.com', timeout=5) # 設置超時時間為5秒
使用代理
有時候，由于網(wǎng)絡環(huán)境的限制，直接發(fā)起HTTP請求可能會遇到速度瓶頸。這時，你可以考慮使用代理來繞過限制，提高請求速度。
proxies = {
'http': 'http://10.10.1.10:3128',
'https': 'http://10.10.1.10:3128'
}
response = requests.get('https://www.zdaye.com', proxies=proxies)
print(response.text)
注意，代理服務器的URL格式通常為協(xié)議://地址:端口。如果你需要身份驗證，可以在URL中包含用戶名和密碼，如http://user:password@proxy.server:port。
HTTP認證
有些網(wǎng)站需要HTTP基本認證才能訪問。requests庫通過AuthBase類及其子類HTTPBasicAuth來處理這種情況。
from requests.auth import HTTPBasicAuth url = 'https://example.com/protected' username = 'your_username' password = 'your_password' response = requests.get(url, auth=HTTPBasicAuth(username, password)) print(response.text)
此外，requests庫還支持OAuth等更復雜的認證機制，這通常需要通過第三方庫來實現(xiàn)。
五、高級功能與實踐
自定義請求頭
除了常見的User-Agent和Accept-Encoding之外，你還可以根據(jù)需要自定義其他請求頭。
headers = {
'User-Agent': 'Custom User Agent',
'Custom-Header': 'CustomHeaderValue',
}
response = requests.get('https://example.com', headers=headers)
print(response.headers)
文件上傳
使用requests庫上傳文件非常簡單。你只需要將文件對象作為文件字段的一部分傳遞給POST請求。
url = 'https://example.com/upload'
files = {'file': open('example.txt', 'rb')}
response = requests.post(url, files=files)
print(response.text)
流式響應
對于大文件或長時間運行的請求，你可能希望以流的方式處理響應數(shù)據(jù)，以避免將整個響應內(nèi)容一次性加載到內(nèi)存中。
response = requests.get('https://example.com/largefile', stream=True)
with open('largefile', 'wb') as f:
for chunk in response.iter_content(chunk_size=8192):
f.write(chunk)
處理重定向
requests庫默認會自動處理HTTP重定向。但如果你需要控制重定向的行為，可以通過設置allow_redirects參數(shù)來實現(xiàn)。
response = requests.get('https://example.com/redirect', allow_redirects=False)
print(response.status_code) # 可能會是301或302
print(response.headers['Location']) # 重定向的目標URL
SSL證書驗證
默認情況下，requests庫會驗證SSL證書。但在某些情況下，你可能需要忽略SSL驗證（例如，在測試環(huán)境中）。雖然不推薦在生產(chǎn)環(huán)境中這樣做，但你可以通過設置verify參數(shù)為False來實現(xiàn)。
response = requests.get('https://example.com', verify=False)
print(response.text)
然而，更好的做法是指定一個CA證書文件來驗證服務器的SSL證書。
response = requests.get('https://example.com', verify='/path/to/cacert.pem')
print(response.text)
六、總結(jié)
本文全面介紹了如何在Python中使用requests庫發(fā)送和處理HTTP請求。從基礎知識到高級技巧，我們涵蓋了GET、POST、PUT、DELETE等常見請求方法，以及如何處理HTTP響應、設置請求頭、管理Cookies和會話、處理錯誤、設置超時時間、使用代理和進行HTTP認證等內(nèi)容。
以上就是Python中HTTP請求的全面指南的詳細內(nèi)容，更多關(guān)于Python HTTP請求的資料請關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
這篇文章是基于Python2.7版本，介紹常見的幾種標準輸出(stdout)重定向方式。顯然，這些方式也適用于標準錯誤重定向。學習python的小伙伴們可以參考借鑒。2016-08-08
python簡單實現(xiàn)最大似然估計&scipy庫的使用詳解
這篇文章主要介紹了python簡單實現(xiàn)最大似然估計&scipy庫的使用詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
有很多地方都說python多繼承的繼承順序,是按照深度遍歷的方式,其實python多繼承順序的算法,不是嚴格意義上的深度遍歷,而是基于深度遍歷基礎上優(yōu)化出一種叫3C算法,本文將給大家詳細的介紹一下python多繼承的3C算法,需要的朋友可以參考下2024-07-07
這篇文章主要給大家分享的是4款Python 自動數(shù)據(jù)分析神器,我給大家分享 4 款常用的EDA工具，它們可以自動產(chǎn)出統(tǒng)計數(shù)據(jù)和圖表，為我們節(jié)省大量時間,需要的朋友可以參考一下2022-03-03
基于Python實現(xiàn)音樂節(jié)奏可視化效果
這篇文章主要為大家詳細介紹了如何基于Python語言實現(xiàn)音樂節(jié)奏可視化效果，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起學習一下2023-06-06
今天小編就為大家分享一篇python 讀寫文件包含多種編碼格式的解決方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
這篇文章主要為大家詳細介紹了如何使用Python輕松管理Word節(jié)及頁面布局設置,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下2026-04-04
這篇文章主要介紹了Python面向?qū)ο缶幊袒A,結(jié)合實例形式分析了Python面向?qū)ο缶幊填惖亩x、繼承、特殊方法及模塊相關(guān)原理與操作技巧,需要的朋友可以參考下2020-01-01
這篇文章主要介紹了Python報錯:對象不存在此屬性的解決方案，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-05-05
本文主要介紹了Python實現(xiàn)JWT加解密的示例代碼,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2025-04-04