Python協(xié)程方式的實現(xiàn)及意義筆記分享

更新時間：2021年09月14日 08:55:54 作者：季布，

協(xié)程也被稱為微線程，是一種用戶態(tài)的上下文切換技術(shù)，簡而言之，就是通過一個線程實現(xiàn)代碼互相切換執(zhí)行，本文主要給大家介紹實現(xiàn)協(xié)程的幾種方法

協(xié)程

協(xié)程不是計算機提供的，是程序員認為創(chuàng)造
協(xié)程也被稱為微線程，是一種用戶態(tài)的上下文切換技術(shù)，簡而言之，就是通過一個線程實現(xiàn)代碼互相切換執(zhí)行
實現(xiàn)協(xié)程的幾種方法:

1)greenlet,早期模塊
2)yield關(guān)鍵字
3)asyncio裝飾器（python3.4以后引入的）
4)async,await關(guān)鍵字 (python3.5) 推薦

1.greenlet實現(xiàn)協(xié)程

greentlet是一個第三方模塊，需要提前安裝 pip3 install greenlet才能使用。

from greenlet import greenlet
def func1():
    print(1)        # 第1步：輸出 1
    gr2.switch()    # 第3步：切換到 func2 函數(shù)
    print(2)        # 第6步：輸出 2
    gr2.switch()    # 第7步：切換到 func2 函數(shù)，從上一次執(zhí)行的位置繼續(xù)向后執(zhí)行
def func2():
    print(3)        # 第4步：輸出 3
    gr1.switch()    # 第5步：切換到 func1 函數(shù)，從上一次執(zhí)行的位置繼續(xù)向后執(zhí)行
    print(4)        # 第8步：輸出 4
gr1 = greenlet(func1)
gr2 = greenlet(func2)
gr1.switch() # 第1步：去執(zhí)行 func1 函數(shù)

輸出的結(jié)果:
1
3
2
4

注意：switch中也可以傳遞參數(shù)用于在切換執(zhí)行時相互傳遞值。

2.yield

基于Python的生成器的yield和yield form關(guān)鍵字實現(xiàn)協(xié)程代碼。

def func1():
    yield 1   #第一步執(zhí)行這里會生成1
    yield from func2() #這里會跳到func2，然后執(zhí)行里面的代碼，執(zhí)行完func2函數(shù)后會繼續(xù)以跳轉(zhuǎn)之前的狀態(tài)繼續(xù)執(zhí)行以下代碼
    yield 2
def func2():
    yield 3
    yield 4    
# 這里是一個生成器對象
f1 = func1()
# 遍歷執(zhí)行生成器
for item in f1:
    print(item)

執(zhí)行結(jié)果
1
3
4
2

注：用這種方法比較牽強，真正開發(fā)環(huán)境中基本不會用這種方法實現(xiàn)協(xié)程(yield form關(guān)鍵字是在Python3.3中引入的。)

3.asyncio

在Python3.4之前官方未提供協(xié)程的類庫，一般大家都是使用greenlet等其他來實現(xiàn)。在Python3.4發(fā)布后官方正式支持協(xié)程，即：asyncio模塊。

import asyncio
#這就是一個用協(xié)程實現(xiàn)的函數(shù)
@asyncio.coroutine
def func1():
    print(1)
    yield from asyncio.sleep(2)  # 遇到IO耗時操作，自動化切換到tasks中的其他任務
    print(2)
loop = asyncio.get_event_loop()
#執(zhí)行
loop.run_until_complete(func1())

同時執(zhí)行多個協(xié)程

import asyncio
@asyncio.coroutine
def func1():
    print(1)
    yield from asyncio.sleep(2)  # 遇到IO耗時操作，自動化切換到tasks中的其他任務
    print(2)
@asyncio.coroutine
def func2():
    print(3)
    yield from asyncio.sleep(2) # 遇到IO耗時操作，自動化切換到tasks中的其他任務
    print(4)
tasks = [
    asyncio.ensure_future( func1() ),
    asyncio.ensure_future( func2() )
]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

結(jié)果
1
3
2
4

注意：基于asyncio模塊實現(xiàn)的協(xié)程比之前的要更厲害，因為他的內(nèi)部還集成了遇到IO耗時操作自動切花的功能。

4.async & awit

async & awit 關(guān)鍵字在Python3.5版本中正式引入，基于他編寫的協(xié)程代碼其實就是上一示例的加強版，讓代碼可以更加簡便。

Python3.8之后 @asyncio.coroutine 裝飾器就會被移除，推薦使用async & awit 關(guān)鍵字實現(xiàn)協(xié)程代碼。

import asyncio
async def func1():
    print(1)
    await asyncio.sleep(2)
    print(2)
async def func2():
    print(3)
    await asyncio.sleep(2)
    print(4)
tasks = [
    asyncio.ensure_future(func1()),
    asyncio.ensure_future(func2())
]
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(tasks))

常用的是：greenlet,async&awit

協(xié)程的意義

在一個線程中遇到IO耗時，線程不會等待，利用空余的時間去執(zhí)行其他的方法

爬蟲案例

例如：用代碼實現(xiàn)下載 url_list 中的圖片。

方式一：同步編程實現(xiàn)

import requests
def download_image(url):
    print("開始下載:",url)
    # 發(fā)送網(wǎng)絡(luò)請求，下載圖片
    response = requests.get(url)
    print("下載完成")
    # 圖片保存到本地文件
    file_name = url.rsplit('_')[-1]
    with open(file_name, mode='wb') as file_object:
        file_object.write(response.content)
if __name__ == '__main__':
    url_list = [
        'https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg',
        'https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg',
        'https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg'
    ]
    for item in url_list:
        download_image(item)

結(jié)果
開始下載: https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg
下載完成
開始下載: https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg
下載完成
開始下載: https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg
下載完成

方式二：基于協(xié)程的異步編程實現(xiàn)

import aiohttp
import asyncio
async def fetch(session, url):
    print("發(fā)送請求：", url)
    async with session.get(url, verify_ssl=False) as response:
        content = await response.content.read()
        file_name = url.rsplit('_')[-1]
        with open(file_name, mode='wb') as file_object:
            file_object.write(content)
async def main():
    async with aiohttp.ClientSession() as session:
        url_list = [
            'https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg',
            'https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg',
            'https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg'
        ]
        tasks = [asyncio.create_task(fetch(session, url)) for url in url_list]
        await asyncio.wait(tasks)
if __name__ == '__main__':
    asyncio.run(main())

結(jié)果
發(fā)送請求： https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg
發(fā)送請求： https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg
發(fā)送請求： https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg
下載完成 https://www2.autoimg.cn/newsdfs/g30/M01/3C/E2/120x90_0_autohomecar__ChcCSV2BBICAUntfAADjJFd6800429.jpg
下載完成 https://www3.autoimg.cn/newsdfs/g26/M0B/3C/65/120x90_0_autohomecar__ChcCP12BFCmAIO83AAGq7vK0sGY193.jpg
下載完成 https://www3.autoimg.cn/newsdfs/g26/M02/35/A9/120x90_0_autohomecar__ChsEe12AXQ6AOOH_AAFocMs8nzU621.jpg

上述兩種的執(zhí)行對比之后會發(fā)現(xiàn)，基于協(xié)程的異步編程要比同步編程的效率高了很多。因為：