python3爬蟲中引用Queue的實例講解
我們?nèi)ヒ粋€受歡迎的地方買東西，難免會需要排隊等待。如果有多個窗口的話，就會有不同隊列的產(chǎn)生，當(dāng)然每個隊伍的人數(shù)也會出現(xiàn)參差不齊的現(xiàn)象。我們今天所要說的Queue就可以理解成生活中的排隊現(xiàn)象。那么結(jié)合我們所要用的爬蟲知識，應(yīng)該怎么在Queue中應(yīng)用呢？接下來就開始今天的內(nèi)容學(xué)習(xí)：
隊列這種東西大家應(yīng)該都知道，就是一個先進先出的數(shù)據(jù)結(jié)構(gòu)，而Python的標準庫中提供了一個線程安全的隊列，也就是說該模塊是適用于多線程編程的先進先出（first-in,first-out，F(xiàn)IFO）數(shù)據(jù)結(jié)構(gòu)，可以用來在生產(chǎn)者消費者線程之間安全地傳遞消息或其他數(shù)據(jù)。它會為調(diào)用者處理鎖定，使用多個線程可以安全地處理同一個 Queue 實例。Queue 的大?。ㄆ渲邪脑貍€數(shù)）可能要受限，以限制內(nèi)存使用或處理。
在Python 3中要引入Queue和Python 2中引入Queue是不同，引入方式如下：
#python 2 import Queue # python 3 from queue import Queue
因為是線程安全的，很自然就可以利用Queue來實現(xiàn)一個多線程爬蟲咯，而Queue的一些常見操作如下：
# 實例化一個隊列，可以在指定隊列大小
q = Queue.Queue()
q_50 = Queue.Queue(50) # 指定一個長度為50的隊列
# 入隊一個數(shù)據(jù)data
q.put(data)
# 出隊并賦值給item
item = q.get()
# 判斷隊列是否為空，是否滿
if q.empty()：
print('隊列為空')
if q.full():
print('隊列滿')
另外，除了普通隊列，標準庫中還有優(yōu)先隊列和后進先出隊列這兩個隊列，分別為LifoQueue和PriorityQueue，其引用方式與Queue類似。
到此這篇關(guān)于python3爬蟲中引用Queue的實例講解的文章就介紹到這了,更多相關(guān)python3爬蟲中如何引用Queue案例內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要介紹了用Python識別人臉，人種等各種信息,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-07-07
這篇文章主要介紹了Python 支付整合開發(fā)包的實現(xiàn)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2019-01-01
這篇文章主要介紹了在django中使用自定義標簽實現(xiàn)分頁功能,具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-07-07
這篇文章主要給大家介紹了關(guān)于如何使用python提取字符串中英文的相關(guān)資料,主要通過正則re中的sub函數(shù)、findall函數(shù)以及compile函數(shù)判斷來實現(xiàn)，需要的朋友可以參考下2021-05-05
這篇文章主要介紹了Python隨機數(shù)函數(shù)代碼實例解析,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-02-02
Pythont特殊語法filter,map,reduce,apply使用方法
這篇文章主要介紹了Pythont特殊語法filter,map,reduce,apply使用方法,需要的朋友可以參考下2016-02-02
Flask框架實現(xiàn)給視圖函數(shù)增加裝飾器操作示例
這篇文章主要介紹了Flask框架實現(xiàn)給視圖函數(shù)增加裝飾器操作,結(jié)合實例形式分析了flask框架視圖添加裝飾器的具體操作方法及相關(guān)注意事項,需要的朋友可以參考下2018-07-07
python?subprocess.run()、subprocess.Popen()、subprocess.check
Python的subprocess模塊是用于創(chuàng)建和管理子進程的模塊,本文主要介紹了python?subprocess.run()、subprocess.Popen()、subprocess.check_output(),具有一定的參考價值,感興趣的可以了解一下2024-02-02
python第三方庫subprocess執(zhí)行cmd同時輸入密碼獲取參數(shù)
本文給大家介紹python subprocess執(zhí)行cmd同時輸入密碼獲取參數(shù),手動輸入cmd命令,本文給大家逐一介紹這個命令的使用方法,感興趣的朋友跟隨小編一起看看吧2024-01-01
這篇文章主要介紹了Django框架下靜態(tài)模板的繼承操作,結(jié)合實例形式分析了Django框架模板繼承操作的相關(guān)原理與操作注意事項,需要的朋友可以參考下2019-11-11