python aiohttp創(chuàng)建很多線程的問題及解決
python aiohttp創(chuàng)建很多線程
最近使用 python aiohttp 進行異步的發(fā)送請求，在命令行中 用py-spy 來監(jiān)控了一下 發(fā)現(xiàn) 運行python程序 創(chuàng)建了 125 線程，嚇了我一跳。
解決
Google了很久 找到解決方法了。
原因
每次發(fā)送請求時 aiohttp.ClientSession 查詢dns 。這個查詢dns是阻塞的，所以它每次查詢dns時開啟一個線程的。
所以我在代碼里 給它指定了 dns查詢對象 起作用了。
from aiohttp.resolver import AsyncResolver resolver = AsyncResolver() tcp_conn = aiohttp.TCPConnector(resolver=resolver) async with aiohttp.ClientSession(connector=tcp_conn) as session: await process_spider(spider, session)
運行程序時 有可能提示 需要aiodns. 安裝即可: pip install aiodns .
python aiohttp模塊使用
asyncio可以實現(xiàn)單線程并發(fā)IO操作。如果僅用在客戶端，發(fā)揮的威力不大。
如果把asyncio用在服務(wù)器端，例如Web服務(wù)器，由于HTTP連接就是IO操作，因此可以用單線程+coroutine實現(xiàn)多用戶的高并發(fā)支持。
asyncio實現(xiàn)了TCP、UDP、SSL等協(xié)議，aiohttp則是基于asyncio實現(xiàn)的HTTP框架。
我們先安裝aiohttp：
pip install aiohttp
然后編寫一個HTTP服務(wù)器，分別處理以下URL：
/- 首頁返回b'<h1>Index</h1>'；/hello/{name}- 根據(jù)URL參數(shù)返回文本hello, %s!。
代碼如下：
import asyncio
from aiohttp import web
async def index(request):
await asyncio.sleep(0.5)
return web.Response(body=b'<h1>Index</h1>')
async def hello(request):
await asyncio.sleep(0.5)
text = '<h1>hello, %s!</h1>' % request.match_info['name']
return web.Response(body=text.encode('utf-8'))
async def init(loop):
app = web.Application(loop=loop)
app.router.add_route('GET', '/', index)
app.router.add_route('GET', '/hello/{name}', hello)
srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000)
print('Server started at http://127.0.0.1:8000...')
return srv
loop = asyncio.get_event_loop()
loop.run_until_complete(init(loop))
loop.run_forever()注意aiohttp的初始化函數(shù)init()也是一個coroutine，loop.create_server()則利用asyncio創(chuàng)建TCP服務(wù)。
總結(jié)
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python實現(xiàn)隨機生成有效手機號碼及身份證功能示例
這篇文章主要介紹了Python實現(xiàn)隨機生成有效手機號碼及身份證功能,結(jié)合完整實例形式分析了Python基于手機號與身份證算法實現(xiàn)隨機手機號及身份證的生成功能,涉及Python日期、隨機數(shù)、文件讀取等相關(guān)操作技巧,需要的朋友可以參考下2017-06-06
Python pickle模塊進行序列化的實現(xiàn)示例
pickle模塊是一個用于實現(xiàn)數(shù)據(jù)序列化與反序列化的強大工具,本文就來介紹一下Python pickle模塊進行序列化的實現(xiàn)示例,具有一定的參考價值,感興趣的可以了解一下2025-01-01
這篇文章主要介紹了基于Python獲取照片的GPS位置信息,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-01-01
這篇文章主要為大家詳細介紹了Python實現(xiàn)注冊登錄功能，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-02-02
關(guān)于numpy中矩陣的翻轉(zhuǎn)(flip)
這篇文章主要介紹了關(guān)于numpy中矩陣的翻轉(zhuǎn)(flip)，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-06-06
appium+python自動化配置(adk、jdk、node.js)
這篇文章主要介紹了appium+python自動化配置(adk、jdk、node.js)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
本文詳細介紹了如何使用Python實現(xiàn)兩組數(shù)據(jù)的縱向排序,包括開發(fā)思想、開發(fā)流程和代碼示例,感興趣的朋友一起看看吧2024-12-12
python計算機視覺OpenCV庫實現(xiàn)實時攝像頭人臉檢測示例
這篇文章主要為大家介紹了python使用OpenCV實現(xiàn)實時攝像頭人臉檢測的示例過程，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步2021-10-10
這篇文章主要介紹了Python 發(fā)送郵件的幾種方法，幫助大家更好的理解和學(xué)習(xí)Python，感興趣的朋友可以了解下2020-08-08
PyCharm使用Docker鏡像搭建Python開發(fā)環(huán)境
這篇文章主要介紹了PyCharm使用Docker鏡像搭建Python開發(fā)環(huán)境，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-12-12