python進(jìn)階之協(xié)程你了解嗎
協(xié)程的定義
協(xié)程(Coroutine),又稱微線程,纖程。(協(xié)程是一種用戶態(tài)的輕量級(jí)線程)
作用:在執(zhí)行 A 函數(shù)的時(shí)候,可以隨時(shí)中斷,去執(zhí)行 B 函數(shù),然后中斷B函數(shù),繼續(xù)執(zhí)行 A 函數(shù) (可以自動(dòng)切換),但這一過程并不是函數(shù)調(diào)用(沒有調(diào)用語句),過程很像多線程,然而協(xié)程只有一個(gè)線程在執(zhí)行
通俗的理解:在一個(gè)線程中的某個(gè)函數(shù),可以在任何地方保存當(dāng)前函數(shù)的一些臨時(shí)變量等信息,然后切換到另外一個(gè)函數(shù)中執(zhí)行,注意不是通過調(diào)用函數(shù)的方式做到的,并且切換的次數(shù)以及什么時(shí)候再切換到原來的函數(shù)都由開發(fā)者自己確定
協(xié)程和線程差異
在實(shí)現(xiàn)多任務(wù)時(shí), 線程切換從系統(tǒng)層面遠(yuǎn)不止保存和恢復(fù) CPU上下文這么簡(jiǎn)單。 操作系統(tǒng)為了程序運(yùn)行的高效性每個(gè)線程都有自己緩存Cache等等數(shù)據(jù),操作系統(tǒng)還會(huì)幫你做這些數(shù)據(jù)的恢復(fù)操作。 所以線程的切換非常耗性能。但是協(xié)程的切換只是單純的操作CPU的上下文,所以一秒鐘切換個(gè)上百萬次系統(tǒng)都抗的住。
協(xié)程的標(biāo)準(zhǔn)
必須在只有一個(gè)單線程里實(shí)現(xiàn)并發(fā)
- 修改共享數(shù)據(jù)不需加鎖
- 用戶程序里自己保存多個(gè)控制流的上下文棧
- 一個(gè)協(xié)程遇到 IO 操作自動(dòng)切換到其它協(xié)程
協(xié)程的優(yōu)點(diǎn)
- 由于自身帶有上下文和棧,無需線程上下文切換的開銷,屬于程序級(jí)別的切換,操作系統(tǒng)完全感知不到,因而更加輕量級(jí)
- 無需原子操作的鎖定及同步的開銷
- 方便切換控制流,簡(jiǎn)化編程模型
- 單線程內(nèi)就可以實(shí)現(xiàn)并發(fā)的效果,最大限度地利用 cpu,且可擴(kuò)展性高,成本低
協(xié)程的缺點(diǎn)
- 無法利用多核資源:協(xié)程的本質(zhì)是個(gè)單線程,它不能同時(shí)將 單個(gè) CPU 的多個(gè)核用上,協(xié)程需要和進(jìn)程配合才能運(yùn)行在多 CPU 上
- 進(jìn)行阻塞(Blocking)操作(如 IO 時(shí))會(huì)阻塞掉整個(gè)程序
- 計(jì)算型的操作,利用協(xié)程來回切換執(zhí)行,沒有任何意義,來回切換并保存狀態(tài) 反倒會(huì)降低性能。
python中實(shí)現(xiàn)協(xié)程的方式
greenlet,是一個(gè)第三方模塊,用于實(shí)現(xiàn)協(xié)程代碼(Gevent協(xié)程就是基于greenlet實(shí)現(xiàn))yield,生成器,借助生成器的特點(diǎn)也可以實(shí)現(xiàn)協(xié)程代碼。asyncio,在Python3.4中引入的模塊用于編寫協(xié)程代碼。async & awiat,在Python3.5中引入的兩個(gè)關(guān)鍵字,結(jié)合asyncio模塊可以更方便的編寫協(xié)程代碼(推薦)。
async&await關(guān)鍵字
協(xié)程實(shí)現(xiàn)的方式有多種,目前最流行的方式就是async&await,其他的方式了解即可,本文就介紹最流行的一種方式
使用協(xié)程需要了解2個(gè),事件循環(huán)和定義協(xié)程函數(shù)
事件循環(huán)
事件循環(huán)是一種處理多并發(fā)量的有效方式,可以理解為死循環(huán),循環(huán)過程中去檢測(cè)并執(zhí)行某些代碼,我們來看下面的偽代碼
任務(wù)列表 = [任務(wù)1, 任務(wù)2, 任務(wù)3............]
while True:
可執(zhí)行的任務(wù)列表,已完成的任務(wù)列表 = 去任務(wù)列表中檢查所有的任務(wù),將'可執(zhí)行'和'已完成'的任務(wù)返回
for 就緒任務(wù) in 可執(zhí)行的任務(wù)列表:
執(zhí)行已就緒的任務(wù)
for 已完成的任務(wù) in 已完成的任務(wù)列表:
在任務(wù)列表中移除 已完成的任務(wù)
如果任務(wù)列表中的任務(wù)都已完成,則終止循環(huán)上面的偽代碼的意思:獲取事件循環(huán)中,然后不斷監(jiān)聽任務(wù)列表,有任務(wù)就執(zhí)行,執(zhí)行完成的任務(wù)就移除,直到任務(wù)列表中的所有任務(wù)都完成,終止循環(huán)
使用事件循環(huán)的好處:使得程序員不用控制任務(wù)的添加、刪除和事件的控制
代碼中的寫法如下:
import asyncio # 獲取事件循環(huán) loop = asyncio.get_event_loop() # 將任務(wù)放到`任務(wù)列表`,監(jiān)聽事件循環(huán) loop.run_until_complete(任務(wù)) # 關(guān)閉事件 loop.close()
協(xié)程函數(shù)和協(xié)程對(duì)象
想要定義協(xié)程函數(shù),格式:async def 函數(shù)名協(xié)程對(duì)象:執(zhí)行協(xié)程函數(shù)()得到的協(xié)程對(duì)象
# 定義協(xié)程函數(shù)
async def func():
pass
# 創(chuàng)建協(xié)程對(duì)象
result = func()注意:執(zhí)行協(xié)程函數(shù),創(chuàng)建協(xié)程對(duì)象,函數(shù)代碼是不會(huì)運(yùn)行的,如果想要運(yùn)行協(xié)程函數(shù)的內(nèi)部代碼,必須要將協(xié)程對(duì)象交給事件循環(huán)來處理,看如下代碼
import asyncio
async def func():
print("你好")
result = func()
# 方式1
loop = asyncio.get_event_loop()
loop.run_until_complete(result)
# 方式2
asyncio.run(result) # python3.7寫法await
await是一個(gè)只能在協(xié)程函數(shù)中使用的關(guān)鍵字,用于遇到IO操作時(shí)掛起 當(dāng)前協(xié)程(任務(wù)),當(dāng)前協(xié)程(任務(wù))掛起過程中 事件循環(huán)可以去執(zhí)行其他的協(xié)程(任務(wù)),當(dāng)前協(xié)程IO處理完成時(shí),可以再次切換回來執(zhí)行await之后的代碼。
舉例:我們創(chuàng)建了2個(gè)任務(wù),一個(gè)下載圖片,一個(gè)下載視頻,我們先執(zhí)行下載圖片任務(wù),這時(shí)遇到io操作,正常情況下會(huì)等待圖片下載完,但await可以先掛起下載圖片任務(wù),然后自動(dòng)切換到下載視頻任務(wù)
使用方法:await + 可等待對(duì)象(協(xié)程對(duì)象、Future對(duì)象、Task對(duì)象)
案例1
import asyncio
async def func():
print("執(zhí)行協(xié)程函數(shù)內(nèi)部代碼")
# 遇到IO操作掛起當(dāng)前協(xié)程(任務(wù)),等IO操作完成之后再繼續(xù)往下執(zhí)行。
# 當(dāng)前協(xié)程掛起時(shí),事件循環(huán)可以去執(zhí)行其他協(xié)程(任務(wù))。
response = await asyncio.sleep(2)
print("IO請(qǐng)求結(jié)束,結(jié)果為:", response)
result = func()
asyncio.run(result)案列2
import asyncio
async def others():
print("start") # ④打印start
await asyncio.sleep(2) # ⑤等待耗時(shí)2秒,這過程中可以切換到其他協(xié)程中去
print("end") # ⑥打印end
return '返回值'
async def func():
print("執(zhí)行協(xié)程函數(shù)內(nèi)部代碼") # ②執(zhí)行協(xié)程函數(shù),打印print代碼
response = await others() # ③等待協(xié)程函數(shù)others
print(f"io請(qǐng)求結(jié)束,結(jié)果為{response}") # ⑦等待others結(jié)束后打印print語句
if __name__ == '__main__':
asyncio.run(func()) # ①協(xié)程函數(shù)放入事件循環(huán)中運(yùn)行上述的所有示例都只是創(chuàng)建了一個(gè)任務(wù),即:事件循環(huán)的任務(wù)列表中只有一個(gè)任務(wù),所以在IO等待時(shí)無法演示切換到其他任務(wù)效果。在程序想要?jiǎng)?chuàng)建多個(gè)任務(wù)對(duì)象,需要使用Task對(duì)象來實(shí)現(xiàn)。
Task對(duì)象
Tasks用于并發(fā)調(diào)度協(xié)程,通過asyncio.create_task(協(xié)程對(duì)象)的方式創(chuàng)建Task對(duì)象,這樣可以讓協(xié)程加入事件循環(huán)中等待被調(diào)度執(zhí)行。除了使用 asyncio.create_task() 函數(shù)以外,還可以用低層級(jí)的loop.create_task()或 ensure_future() 函數(shù)。不建議手動(dòng)實(shí)例化 Task 對(duì)象。
本質(zhì)上是將協(xié)程對(duì)象封裝成task對(duì)象,并將協(xié)程立即加入事件循環(huán),同時(shí)追蹤協(xié)程的狀態(tài)。
注意:asyncio.create_task() 函數(shù)在 Python 3.7 中被加入。在 Python 3.7 之前,可以改用低層級(jí)的 asyncio.ensure_future() 函數(shù)。
案例1
import asyncio
async def func():
print(1)
await asyncio.sleep(2)
print(2)
return "返回值"
async def main():
print("main開始")
# 創(chuàng)建協(xié)程,將協(xié)程封裝到一個(gè)Task對(duì)象中并立即添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。
task1 = asyncio.create_task(func())
# 創(chuàng)建協(xié)程,將協(xié)程封裝到一個(gè)Task對(duì)象中并立即添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。
task2 = asyncio.create_task(func())
print("main結(jié)束")
# 當(dāng)執(zhí)行某協(xié)程遇到IO操作時(shí),會(huì)自動(dòng)化切換執(zhí)行其他任務(wù)。
# 此處的await是等待相對(duì)應(yīng)的協(xié)程全都執(zhí)行完畢并獲取結(jié)果
ret1 = await task1
ret2 = await task2
print(ret1, ret2)
asyncio.run(main())案例await+任務(wù)列表(用的最多)
import asyncio
async def func():
print(1)
await asyncio.sleep(2)
print(2)
return "返回值"
async def main():
print("main開始")
# 創(chuàng)建協(xié)程,將協(xié)程封裝到Task對(duì)象中并添加到事件循環(huán)的任務(wù)列表中,等待事件循環(huán)去執(zhí)行(默認(rèn)是就緒狀態(tài))。
# 在調(diào)用
task_list = [asyncio.create_task(func()), asyncio.create_task(func())]
print("main結(jié)束")
# 當(dāng)執(zhí)行某協(xié)程遇到IO操作時(shí),會(huì)自動(dòng)化切換執(zhí)行其他任務(wù)。
# 此處的await是等待所有協(xié)程執(zhí)行完畢,并將所有協(xié)程的返回值保存到done
# 如果設(shè)置了timeout值,則意味著此處最多等待的秒,完成的協(xié)程返回值寫入到done中,未完成則寫到pending中。
done, pending = await asyncio.wait(task_list)
print(done)
asyncio.run(main())注意: asyncio.wait 源碼內(nèi)部會(huì)對(duì)列表中的每個(gè)協(xié)程執(zhí)行ensure_future從而封裝為Task對(duì)象,所以在和wait配合使用時(shí)task_list的值為[func(),func()] 也是可以的。
asyncio.Future對(duì)象
asyncio中的Future對(duì)象是一個(gè)相對(duì)更偏向底層的可對(duì)象,通常我們不會(huì)直接用到這個(gè)對(duì)象,而是直接使用Task對(duì)象來完成任務(wù)的并和狀態(tài)的追蹤。( Task 是 Futrue的子類 )
Future為我們提供了異步編程中的 最終結(jié)果 的處理(Task類也具備狀態(tài)處理的功能)
案例1
async def main():
# 獲取當(dāng)前事件循環(huán)
loop = asyncio.get_running_loop()
# 創(chuàng)建一個(gè)任務(wù)(Future對(duì)象),這個(gè)任務(wù)什么都不干。
fut = loop.create_future()
# 等待任務(wù)最終結(jié)果(Future對(duì)象),沒有結(jié)果則會(huì)一直等下去。
await fut
asyncio.run(main())結(jié)果就是程序一直在等待,無法結(jié)束
案例2
import asyncio
async def set_after(fut):
await asyncio.sleep(2)
fut.set_result("666")
async def main():
# 獲取當(dāng)前事件循環(huán)
loop = asyncio.get_running_loop()
# 創(chuàng)建一個(gè)任務(wù)(Future對(duì)象),沒綁定任何行為,則這個(gè)任務(wù)永遠(yuǎn)不知道什么時(shí)候結(jié)束。
fut = loop.create_future()
# 創(chuàng)建一個(gè)任務(wù)(Task對(duì)象),綁定了set_after函數(shù),函數(shù)內(nèi)部在2s之后,會(huì)給fut賦值。
# 即手動(dòng)設(shè)置future任務(wù)的最終結(jié)果,那么fut就可以結(jié)束了。
await loop.create_task(set_after(fut))
# 等待 Future對(duì)象獲取 最終結(jié)果,否則一直等下去
data = await fut
print(data)
asyncio.run(main())Future對(duì)象本身函數(shù)進(jìn)行綁定,所以想要讓事件循環(huán)獲取Future的結(jié)果,則需要手動(dòng)設(shè)置。而Task對(duì)象繼承了Future對(duì)象,其實(shí)就對(duì)Future進(jìn)行擴(kuò)展,他可以實(shí)現(xiàn)在對(duì)應(yīng)綁定的函數(shù)執(zhí)行完成之后,自動(dòng)執(zhí)行set_result,從而實(shí)現(xiàn)自動(dòng)結(jié)束。
雖然,平時(shí)使用的是Task對(duì)象,但對(duì)于結(jié)果的處理本質(zhì)是基于Future對(duì)象來實(shí)現(xiàn)的。
futures.Future對(duì)象
在Python的concurrent.futures模塊中也有一個(gè)Future對(duì)象,這個(gè)對(duì)象是基于線程池和進(jìn)程池實(shí)現(xiàn)異步操作時(shí)使用的對(duì)象。
import time
from concurrent.futures import Future
from concurrent.futures.thread import ThreadPoolExecutor
from concurrent.futures.process import ProcessPoolExecutor
def func(value):
time.sleep(1)
print(value)
pool = ThreadPoolExecutor(max_workers=5)
# 或 pool = ProcessPoolExecutor(max_workers=5)
for i in range(10):
fut = pool.submit(func, i)
print(fut)兩個(gè)Future對(duì)象是不同的,他們是為不同的應(yīng)用場(chǎng)景而設(shè)計(jì),例如:concurrent.futures.Future不支持await語法 等。
在Python提供了一個(gè)將futures.Future 對(duì)象包裝成asyncio.Future對(duì)象的函數(shù) asynic.wrap_future。
接下里你肯定問:為什么python會(huì)提供這種功能?
其實(shí),一般在程序開發(fā)中我們要么統(tǒng)一使用 asycio 的協(xié)程實(shí)現(xiàn)異步操作、要么都使用進(jìn)程池和線程池實(shí)現(xiàn)異步操作。但如果 協(xié)程的異步和 進(jìn)程池/線程池的異步 混搭時(shí),那么就會(huì)用到此功能了。
import time
import asyncio
import concurrent.futures
def func1():
# 某個(gè)耗時(shí)操作
time.sleep(2)
return "OK"
async def main():
loop = asyncio.get_running_loop()
# 方式1. Run in the default loop's executor ( 默認(rèn)ThreadPoolExecutor )
# 第一步:內(nèi)部會(huì)先調(diào)用 ThreadPoolExecutor 的 submit 方法去線程池中申請(qǐng)一個(gè)線程去執(zhí)行func1函數(shù),并返回一個(gè)concurrent.futures.Future對(duì)象
# 第二步:調(diào)用asyncio.wrap_future將concurrent.futures.Future對(duì)象包裝為asycio.Future對(duì)象。
# 因?yàn)閏oncurrent.futures.Future對(duì)象不支持await語法,所以需要包裝為 asycio.Future對(duì)象 才能使用。
fut = loop.run_in_executor(None, func1)
result = await fut
print('default thread pool', result)
# 方式2. Run in a custom thread pool:
# with concurrent.futures.ThreadPoolExecutor() as pool:
# result = await loop.run_in_executor(
# pool, func1)
# print('custom thread pool', result)
# 方式3. Run in a custom process pool:
# with concurrent.futures.ProcessPoolExecutor() as pool:
# result = await loop.run_in_executor(
# pool, func1)
# print('custom process pool', result)
asyncio.run(main())應(yīng)用場(chǎng)景:當(dāng)項(xiàng)目以協(xié)程式的異步編程開發(fā)時(shí),如果要使用一個(gè)第三方模塊,而第三方模塊不支持協(xié)程方式異步編程時(shí),就需要用到這個(gè)功能,例如requests模塊:
import asyncio
import requests
async def download_image(url):
# 發(fā)送網(wǎng)絡(luò)請(qǐng)求,下載圖片(遇到網(wǎng)絡(luò)下載圖片的IO請(qǐng)求,自動(dòng)化切換到其他任務(wù))
print("開始下載:", url)
loop = asyncio.get_event_loop()
# requests模塊默認(rèn)不支持異步操作,所以就使用線程池來配合實(shí)現(xiàn)了。
future = loop.run_in_executor(None, requests.get, url)
response = await future
print('下載完成')
# 圖片保存到本地文件
file_name = url.rsplit('_')[-1]
with open(file_name, mode='wb') as file_object:
file_object.write(response.content)
if __name__ == '__main__':
url_list = [
'https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg',
'https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg',
'https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg'
]
tasks = [download_image(url) for url in url_list]
loop = asyncio.get_event_loop()
loop.run_until_complete( asyncio.wait(tasks) )異步迭代器
什么是異步迭代器?
實(shí)現(xiàn)了__aiter__()和__anext__()方法的對(duì)象。__anext__ 必須返回一個(gè) awaitable 對(duì)象。async for 會(huì)處理異步迭代器的__anext__()方法所返回的可等待對(duì)象,直到其引發(fā)一個(gè) StopAsyncIteration 異常。
什么是異步可迭代對(duì)象?
可在 async for 語句中被使用的對(duì)象。必須通過它的 __aiter__() 方法返回一個(gè) asynchronous iterator。
import asyncio
class Reader(object):
""" 自定義異步迭代器(同時(shí)也是異步可迭代對(duì)象) """
def __init__(self):
self.count = 0
async def readline(self):
# await asyncio.sleep(1)
self.count += 1
if self.count == 100:
return None
return self.count
def __aiter__(self):
return self
async def __anext__(self):
val = await self.readline()
if val == None:
raise StopAsyncIteration
return val
async def func():
# 創(chuàng)建異步可迭代對(duì)象
async_iter = Reader()
# async for 必須要放在async def函數(shù)內(nèi),否則語法錯(cuò)誤。
async for item in async_iter:
print(item)
asyncio.run(func())異步迭代器其實(shí)沒什么太大的作用,只是支持了async for語法而已。
異步上下文管理器
此種對(duì)象通過定義 __aenter__() 和 __aexit__() 方法來對(duì) async with 語句中的環(huán)境進(jìn)行控制
import asyncio
class AsyncContextManager:
def __init__(self):
self.conn = None
async def do_something(self):
# 異步操作數(shù)據(jù)庫(kù)
return 666
async def __aenter__(self):
# 異步鏈接數(shù)據(jù)庫(kù)
self.conn = await asyncio.sleep(1)
return self
async def __aexit__(self, exc_type, exc, tb):
# 異步關(guān)閉數(shù)據(jù)庫(kù)鏈接
await asyncio.sleep(1)
async def func():
async with AsyncContextManager() as f:
result = await f.do_something()
print(result)
asyncio.run(func())這個(gè)異步的上下文管理器還是比較有用的,平時(shí)在開發(fā)過程中 打開、處理、關(guān)閉 操作時(shí),就可以用這種方式來處理。
uvloop
uvloop是 asyncio 中的事件循環(huán)的替代方案,替換后可以使得asyncio性能提高。事實(shí)上,uvloop要比nodejs、gevent等其他python異步框架至少要快2倍,性能可以比肩Go語言。
安裝uvloop
pip3 install uvloop
在項(xiàng)目中想要使用uvloop替換asyncio的事件循環(huán)也非常簡(jiǎn)單,只要在代碼中這么做就行。
import asyncio import uvloop asyncio.set_event_loop_policy(uvloop.EventLoopPolicy()) # 編寫asyncio的代碼,與之前寫的代碼一致。 # 內(nèi)部的事件循環(huán)自動(dòng)化會(huì)變?yōu)閡vloop asyncio.run(...)
注意:知名的asgi uvicorn內(nèi)部就是使用的uvloop的事件循環(huán)。
異步redis
當(dāng)通過python去操作redis時(shí),鏈接、設(shè)置值、獲取值 這些都涉及網(wǎng)絡(luò)IO請(qǐng)求,使用asycio異步的方式可以在IO等待時(shí)去做一些其他任務(wù),從而提升性能。
安裝Python異步操作redis模塊
pip3 install aioredis
案例:連接多個(gè)redis做操作(遇到IO會(huì)切換其他任務(wù),提供了性能)
import asyncio
import aioredis
async def execute(address, password):
print("開始執(zhí)行", address)
# 網(wǎng)絡(luò)IO操作:先去連接 77.95.4.197:6379,遇到IO則自動(dòng)切換任務(wù),去連接77.95.4.198:6379
redis = await aioredis.create_redis_pool(address, password=password)
# 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
await redis.hmset_dict('car', key1=1, key2=2, key3=3)
# 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
result = await redis.hgetall('car', encoding='utf-8')
print(result)
redis.close()
# 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
await redis.wait_closed()
print("結(jié)束", address)
task_list = [
execute('redis://77.95.4.197:6379', "123456"),
execute('redis://77.95.4.198:6379', "123456")
]
asyncio.run(asyncio.wait(task_list))異步MySQL
當(dāng)通過python去操作MySQL時(shí),連接、執(zhí)行SQL、關(guān)閉都涉及網(wǎng)絡(luò)IO請(qǐng)求,使用asycio異步的方式可以在IO等待時(shí)去做一些其他任務(wù),從而提升性能。
安裝Python異步操作redis模塊
pip3 install aiomysql
案例
import asyncio
import aiomysql
async def execute(host, password):
print("開始", host)
# 網(wǎng)絡(luò)IO操作:先去連接 77.95.40.197,遇到IO則自動(dòng)切換任務(wù),去連接77.95.40.198:6379
conn = await aiomysql.connect(host=host, port=3306, user='root', password=password, db='mysql')
# 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
cur = await conn.cursor()
# 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
await cur.execute("SELECT Host,User FROM user")
# 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
result = await cur.fetchall()
print(result)
# 網(wǎng)絡(luò)IO操作:遇到IO會(huì)自動(dòng)切換任務(wù)
await cur.close()
conn.close()
print("結(jié)束", host)
task_list = [
execute('77.95.40.197', "123456"),
execute('77.95.40.198', "123456")
]
asyncio.run(asyncio.wait(task_list))爬蟲
在編寫爬蟲應(yīng)用時(shí),需要通過網(wǎng)絡(luò)IO去請(qǐng)求目標(biāo)數(shù)據(jù),這種情況適合使用異步編程來提升性能,接下來我們使用支持異步編程的aiohttp模塊來實(shí)現(xiàn)。
安裝aiohttp模塊
pip3 install aiohttp
案例
import aiohttp
import asyncio
async def fetch(session, url):
print(f"發(fā)送請(qǐng)求:{url}")
async with session.get(url, verify_ssl=False) as response:
text = await response.text()
print("得到結(jié)果:", url, len(text))
async def main():
async with aiohttp.ClientSession() as session:
url_list = ["http://www.baidu.com", "http://www.taobao.com", "http://www.jd.com"]
tasks = [asyncio.create_task(fetch(session, url)) for url in url_list]
await asyncio.wait(tasks)
if __name__ == '__main__':
asyncio.run(main())總結(jié)
本篇文章就到這里了,希望能夠給你帶來幫助,也希望您能夠多多關(guān)注腳本之家的更多內(nèi)容!
相關(guān)文章
python的set處理二維數(shù)組轉(zhuǎn)一維數(shù)組的方法示例
這篇文章主要介紹了python的set處理二維數(shù)組轉(zhuǎn)一維數(shù)組的方法示例,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-05-05
利用python讀取YUV文件 轉(zhuǎn)RGB 8bit/10bit通用
今天小編就為大家分享一篇利用python讀取YUV文件 轉(zhuǎn)RGB 8bit/10bit通用,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
妙用itchat! python實(shí)現(xiàn)久坐提醒功能
python編寫的久坐提醒,給最愛的那個(gè)她,這篇文章主要為大家分享了python久坐提醒功能的實(shí)現(xiàn)代碼,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2019-11-11
Python設(shè)計(jì)模式之工廠模式簡(jiǎn)單示例
這篇文章主要介紹了Python設(shè)計(jì)模式之工廠模式,簡(jiǎn)單說明了工廠模式的原理,并結(jié)合實(shí)例形式給出了Python實(shí)現(xiàn)工廠模式的具體操作技巧,需要的朋友可以參考下2018-01-01
python json.loads兼容單引號(hào)數(shù)據(jù)的方法
今天小編就為大家分享一篇python json.loads兼容單引號(hào)數(shù)據(jù)的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-12-12

