Python使用異步編程提升程序性能詳解

異步編程-提升應(yīng)用性能的強(qiáng)大技術(shù)
異步編程是一種強(qiáng)大的技術(shù),可以顯著提升應(yīng)用程序的性能。它允許你在不需要手動(dòng)管理線程或進(jìn)程的情況下,同時(shí)執(zhí)行多個(gè)任務(wù)。這種方法特別適用于需要進(jìn)行 API 請(qǐng)求、文件讀取或數(shù)據(jù)庫交互的開發(fā)者,而且不會(huì)暫停整個(gè)應(yīng)用程序的運(yùn)行。
在 Python 中,最知名的異步編程庫是 asyncio。這個(gè)庫通過實(shí)現(xiàn)事件循環(huán)(Event Loop)、協(xié)程(Coroutines)和非阻塞 I/O(Non-blocking I/O)來管理程序的執(zhí)行。如果你希望構(gòu)建高響應(yīng)性和高可擴(kuò)展性的應(yīng)用程序,強(qiáng)烈建議你深入研究這個(gè)庫。
同步vs異步編程
在同步編程中,任務(wù)是按順序執(zhí)行的,意味著每個(gè)任務(wù)必須在前一個(gè)任務(wù)完成后才能開始。如下圖所示,程序會(huì)等待一個(gè)任務(wù)執(zhí)行完畢后再進(jìn)行下一個(gè)任務(wù)。
(同步執(zhí)行示意圖)
相反,異步編程允許多個(gè)任務(wù)同時(shí)運(yùn)行。當(dāng)一個(gè)任務(wù)在等待某個(gè)慢操作(如從服務(wù)器獲取數(shù)據(jù))時(shí),程序可以繼續(xù)執(zhí)行其他任務(wù)。這種**“非阻塞”**方法避免了程序停滯,使可用資源得到更好的利用,從而顯著提高執(zhí)行效率。下圖展示了異步編程的工作方式。
(異步執(zhí)行示意圖)
什么是asyncio
asyncio 提供了一個(gè)框架,使開發(fā)者可以使用 async 和 await 語法編寫異步代碼。它允許程序在不停止其他進(jìn)程的情況下執(zhí)行網(wǎng)絡(luò)請(qǐng)求、文件訪問等操作。這樣,程序可以在等待某些任務(wù)完成時(shí)仍然保持響應(yīng)性。
值得注意的是,asyncio 從 Python 3.3 版本起就默認(rèn)包含,無需額外安裝。
asyncio的核心組件
- 事件循環(huán)(Event Loop):管理和調(diào)度異步任務(wù)和協(xié)程的核心機(jī)制。
- 協(xié)程(Coroutines):使用
async def定義的特殊函數(shù),它們可以使用await關(guān)鍵字暫停執(zhí)行,以便讓其他任務(wù)運(yùn)行。 - 任務(wù)(Tasks):已被調(diào)度到事件循環(huán)中的協(xié)程,可使用
asyncio.create_task()創(chuàng)建任務(wù)。 - Future 對(duì)象(Futures):表示可能尚未完成的操作的結(jié)果,相當(dāng)于未來可用的占位符。
asyncio的基本用法
import asyncio
async def calculate_square(number):
print(f"開始計(jì)算 {number} 的平方")
await asyncio.sleep(1) # 模擬延遲
print(f"{number} 的平方計(jì)算完成")
return number ** 2
async def calculate_cube(number):
print(f"開始計(jì)算 {number} 的立方")
await asyncio.sleep(2) # 模擬延遲
print(f"{number} 的立方計(jì)算完成")
return number ** 3
async def main():
# 創(chuàng)建任務(wù)并調(diào)度到事件循環(huán)中
task1 = asyncio.create_task(calculate_square(5))
task2 = asyncio.create_task(calculate_cube(3))
# 等待任務(wù)完成
result1 = await task1
result2 = await task2
# 輸出結(jié)果
print(f"平方結(jié)果:{result1}")
print(f"立方結(jié)果:{result2}")
if __name__ == "__main__":
# 啟動(dòng)事件循環(huán)
asyncio.run(main())關(guān)鍵點(diǎn)解析
- 事件循環(huán):
asyncio.run(main())啟動(dòng)事件循環(huán),并運(yùn)行main()協(xié)程。 - 協(xié)程:
calculate_square(number)和calculate_cube(number)是協(xié)程,它們使用await asyncio.sleep()模擬延遲,而不會(huì)阻塞整個(gè)程序。 - 任務(wù):在
main()中,我們使用asyncio.create_task()創(chuàng)建任務(wù),讓兩個(gè)協(xié)程并行運(yùn)行。 - Future 對(duì)象:
result1和result2是 Future 對(duì)象,代表calculate_square()和calculate_cube()任務(wù)的最終結(jié)果。
運(yùn)行結(jié)果
開始計(jì)算 5 的平方
開始計(jì)算 3 的立方
5 的平方計(jì)算完成
3 的立方計(jì)算完成
平方結(jié)果:25
立方結(jié)果:27
運(yùn)行多個(gè)協(xié)程asyncio.gather()
asyncio.gather() 允許多個(gè)協(xié)程并行執(zhí)行,通常用于批量發(fā)送網(wǎng)絡(luò)請(qǐng)求。讓我們用一個(gè)示例來模擬多個(gè) HTTP 請(qǐng)求的并發(fā)執(zhí)行。
示例代碼
import asyncio
# 模擬從 URL 獲取數(shù)據(jù)的任務(wù)
async def fetch_data(URL, delay):
print(f"開始從 {URL} 獲取數(shù)據(jù)")
await asyncio.sleep(delay) # 模擬網(wǎng)絡(luò)延遲
return f"從 {URL} 獲取數(shù)據(jù)完成(耗時(shí) {delay} 秒)"
async def main():
# 并行執(zhí)行多個(gè)獲取數(shù)據(jù)的任務(wù)
results = await asyncio.gather(
fetch_data("https://openai.com", 2),
fetch_data("https://github.com", 5),
fetch_data("https://python.org", 7)
)
# 輸出所有任務(wù)的結(jié)果
for result in results:
print(result)
asyncio.run(main())關(guān)鍵點(diǎn)解析
fetch_data(URL, delay)模擬從 URL 獲取數(shù)據(jù),并設(shè)置不同的延遲時(shí)間。asyncio.gather()讓三個(gè)fetch_data()協(xié)程并行執(zhí)行,而不會(huì)一個(gè)完成后再啟動(dòng)下一個(gè)。- 任務(wù)并行運(yùn)行,因此程序不會(huì)等待一個(gè)任務(wù)完成后才開始下一個(gè),極大提升效率。
運(yùn)行結(jié)果
開始從 https://openai.com 獲取數(shù)據(jù)
開始從 https://github.com 獲取數(shù)據(jù)
開始從 https://python.org 獲取數(shù)據(jù)
從 https://openai.com 獲取數(shù)據(jù)完成(耗時(shí) 2 秒)
從 https://github.com 獲取數(shù)據(jù)完成(耗時(shí) 5 秒)
從 https://python.org 獲取數(shù)據(jù)完成(耗時(shí) 7 秒)
處理超時(shí)asyncio.wait_for()
asyncio.wait_for() 允許你為異步任務(wù)設(shè)置超時(shí)時(shí)間,如果任務(wù)超時(shí)未完成,將引發(fā) asyncio.TimeoutError。
示例代碼
import asyncio
async def fetch_data():
await asyncio.sleep(15) # 模擬網(wǎng)絡(luò)延遲
return "數(shù)據(jù)獲取成功"
async def main():
try:
# 設(shè)置超時(shí)時(shí)間為 10 秒
result = await asyncio.wait_for(fetch_data(), timeout=10)
print(result)
except asyncio.TimeoutError:
print("數(shù)據(jù)獲取超時(shí)")
asyncio.run(main())如果 fetch_data() 任務(wù)執(zhí)行超過 10 秒,就會(huì)觸發(fā)超時(shí)異常 TimeoutError。
總結(jié)
本指南介紹了 Python 的 asyncio 庫,并對(duì)同步與異步編程區(qū)別、核心組件和代碼示例進(jìn)行了詳細(xì)講解。雖然編寫異步代碼可能會(huì)讓初學(xué)者感到困惑,但一旦熟練掌握,你會(huì)發(fā)現(xiàn)它能極大提升程序的性能和響應(yīng)速度。
如果你想深入了解 asyncio,建議查閱官方文檔。
以上就是Python使用異步編程提升程序性能詳解的詳細(xì)內(nèi)容,更多關(guān)于Python異步編程的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章!
相關(guān)文章
Python小游戲?qū)崿F(xiàn)實(shí)例之接蘋果
其實(shí)利用Python編寫的小游戲很簡單,下面這篇文章主要給大家介紹了關(guān)于Python小游戲?qū)崿F(xiàn)實(shí)例之接蘋果的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-03-03
Python基于Logistic回歸建模計(jì)算某銀行在降低貸款拖欠率的數(shù)據(jù)示例
這篇文章主要介紹了Python基于Logistic回歸建模計(jì)算某銀行在降低貸款拖欠率的數(shù)據(jù),結(jié)合實(shí)例形式分析了Python基于邏輯回歸模型的數(shù)值運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2019-01-01
Python隨機(jī)數(shù)種子(random seed)的設(shè)置小結(jié)
隨機(jī)數(shù)種子是控制偽隨機(jī)數(shù)生成器的初始值,通過設(shè)置相同的種子,可以確保隨機(jī)數(shù)序列的一致性,本文主要介紹了Python隨機(jī)數(shù)種子(random seed)的設(shè)置,感興趣的可以了解一下2025-03-03
解決anaconda安裝pytorch報(bào)錯(cuò)找不到包的問題
這篇文章主要介紹了解決anaconda安裝pytorch報(bào)錯(cuò)找不到包的問題,本文給大家介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2023-03-03
python使用urllib模塊開發(fā)的多線程豆瓣小站mp3下載器
對(duì)豆瓣音樂小站頁面html分析出所有mp3(正則匹配)文件url,然后用urllib.urlretrieve中方法直接將文件下載到本地,通過多線程技術(shù)下載2014-01-01
python實(shí)現(xiàn)機(jī)器學(xué)習(xí)之元線性回歸
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)機(jī)器學(xué)習(xí)之元線性回歸,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2018-09-09
pandas中按行或列的值對(duì)數(shù)據(jù)排序的實(shí)現(xiàn)
本文主要介紹了pandas中按行或列的值對(duì)數(shù)據(jù)排序的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2023-02-02

