快捷導(dǎo)航

Python?FastApi結(jié)合異步執(zhí)行方式

更新時(shí)間：2024年06月21日 10:20:04 作者：郝少

這篇文章主要介紹了Python?FastApi結(jié)合異步執(zhí)行方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教

Python FastApi結(jié)合異步執(zhí)行

需求說明

在使用fastApi框架的時(shí)候，往往程序會(huì)卡到uvicorn.run方法的執(zhí)行步驟，從而其下面同步執(zhí)行的動(dòng)作不能被執(zhí)行，此時(shí)需要使用異步思維進(jìn)行其他動(dòng)作的執(zhí)行；

代碼

Web.py

from fastapi import FastAPI
app = FastAPI()


@app.get("/info")
async def info():
    return {"key": "HelloWorld"}

WebMain.py

import uvicorn
from threading import Thread
from time import sleep


def my_async(f):
    def wrapper(*args, **kwargs):
        thr = Thread(target=f, args=args, kwargs=kwargs)
        thr.start()
    return wrapper


@my_async
def print_info():
    sleep(5)
    print("############test")


if __name__ == '__main__':
    # 放在uvicorn.run前面，不然走不到此方法；
    print_info()
    uvicorn.run(app='Web:app', host='127.0.0.1', port=8000, reload=True, debug=True)

在FastApi中實(shí)現(xiàn)異步問題

在FastAPI應(yīng)用中使用異步特性可以提高并發(fā)性能，但如果您要調(diào)用的模型是同步的，可能會(huì)導(dǎo)致阻塞。

為了實(shí)現(xiàn)異步處理，您可以將阻塞的操作委托給線程池或進(jìn)程池，以便異步執(zhí)行。

以下是一種基本方法來實(shí)現(xiàn)異步處理圖片識(shí)別任務(wù)：

from fastapi import FastAPI
from concurrent.futures import ThreadPoolExecutor
import asyncio
 
app = FastAPI()
executor = ThreadPoolExecutor(max_workers=10)  # 創(chuàng)建線程池，可以根據(jù)需求調(diào)整線程數(shù)
 
# 模擬一個(gè)阻塞的圖片識(shí)別函數(shù)
def blocking_image_recognition(image_data):
    # 模擬耗時(shí)操作，實(shí)際中會(huì)調(diào)用模型進(jìn)行識(shí)別
    asyncio.sleep(5)
    return f"Recognized: {image_data}"
 
@app.post("/recognize-image")
async def recognize_image(image_data: str):
    # 使用線程池異步執(zhí)行阻塞操作
    loop = asyncio.get_event_loop()
    result = await loop.run_in_executor(executor, blocking_image_recognition, image_data)
 
    # 此處可以將結(jié)果保存到數(shù)據(jù)庫(kù)或進(jìn)行其他操作
    # 使用異步方式進(jìn)行數(shù)據(jù)庫(kù)操作
    # ...
 
    return {"result": result}

在上述示例中，我們使用ThreadPoolExecutor創(chuàng)建了一個(gè)線程池，用于異步執(zhí)行阻塞操作。blocking_image_recognition函數(shù)模擬了一個(gè)耗時(shí)的識(shí)別操作，實(shí)際中會(huì)根據(jù)模型來實(shí)現(xiàn)。在recognize_image路由中，我們使用loop.run_in_executor將阻塞操作交給線程池來異步執(zhí)行。

在處理識(shí)別結(jié)果時(shí)，您可以使用異步框架（例如Tortoise-ORM）來保存數(shù)據(jù)到數(shù)據(jù)庫(kù)，確保數(shù)據(jù)庫(kù)操作也是非阻塞的。這樣，您就可以同時(shí)處理多個(gè)圖片識(shí)別任務(wù)，提高并發(fā)性能。

如果需要更高級(jí)的并發(fā)控制，您還可以考慮使用異步任務(wù)隊(duì)列（例如Celery）來進(jìn)一步分布式處理圖片識(shí)別任務(wù)。 Celery允許您在多個(gè)遠(yuǎn)程機(jī)器上并行執(zhí)行任務(wù)。