快捷導(dǎo)航

python已協(xié)程方式處理任務(wù)實(shí)現(xiàn)過程

更新時(shí)間：2019年12月27日 14:39:47 作者：長(zhǎng)不大的菜鳥

這篇文章主要介紹了python已協(xié)程方式處理任務(wù)實(shí)現(xiàn)過程,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

#從genent中導(dǎo)入monky模塊①
from gevent import monkey
#把程序變成協(xié)程的方式運(yùn)行②
monkey.patch_all()
import gevent,requests,time
#導(dǎo)入requests和time
start = time.time()
#記錄程序開始時(shí)間
 
url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']
#把8個(gè)網(wǎng)站封裝成列表
 
def get_data(url):
  r = requests.get(url)
  # 用requests.get()函數(shù)爬取網(wǎng)站
  print(url, time.time()-start,r.status_code)
 
task_list=[]
# 創(chuàng)建一個(gè)空列表
for url in url_list:
  # 用gevent里面的spawn函數(shù)創(chuàng)建任務(wù) get_data是方法名，url是參數(shù)③
  task=gevent.spawn(get_data,url)
  # 將創(chuàng)建的任務(wù)添加到task_list④
  task_list.append(task)
#執(zhí)行任務(wù)列表中的所有任務(wù)⑤
gevent.joinall(task_list)
 
end = time.time()
#記錄程序結(jié)束時(shí)間
print(end-start)
#end-start是結(jié)束時(shí)間減去開始時(shí)間，就是最終所花時(shí)間。

使用隊(duì)列，代碼如下：

#從genent中導(dǎo)入monky模塊①
from gevent import monkey
#把程序變成協(xié)程的方式運(yùn)行②
monkey.patch_all()
import gevent,requests,time
#從gevent庫(kù)里導(dǎo)入queue模塊
from gevent.queue import Queue
#導(dǎo)入requests和time
start = time.time()
#記錄程序開始時(shí)間
 
url_list = ['https://www.baidu.com/',
'https://www.sina.com.cn/',
'http://www.sohu.com/',
'https://www.qq.com/',
'https://www.163.com/',
'http://www.iqiyi.com/',
'https://www.tmall.com/',
'http://www.ifeng.com/']
#把8個(gè)網(wǎng)站封裝成列表
#創(chuàng)建隊(duì)列對(duì)象，并賦值給work。
work=Queue()
for url in url_list:
  # 用put_nowait()函數(shù)可以把網(wǎng)址都放進(jìn)隊(duì)列里。
  work.put_nowait(url)
 
 
def get_data():
  # 當(dāng)隊(duì)列不是空的時(shí)候，就執(zhí)行下面的程序。
  while not work.empty():
    # 用get_nowait()函數(shù)可以把隊(duì)列里的網(wǎng)址都取出。
    url=work.get_nowait()
    r = requests.get(url)
    # 用requests.get()函數(shù)爬取網(wǎng)站 qsize隊(duì)列長(zhǎng)度
    print(url, work.qsize(),r.status_code)
 
task_list=[]
# 創(chuàng)建一個(gè)空列表
# 創(chuàng)建了2個(gè)爬蟲
for x in range(2):
  # 用gevent里面的spawn函數(shù)創(chuàng)建任務(wù) get_data是方法名
  task=gevent.spawn(get_data)
  # 將創(chuàng)建的任務(wù)添加到task_list④
  task_list.append(task)
#執(zhí)行任務(wù)列表中的所有任務(wù)⑤
gevent.joinall(task_list)
 
end = time.time()
#記錄程序結(jié)束時(shí)間
print(end-start)
#end-start是結(jié)束時(shí)間減去開始時(shí)間，就是最終所花時(shí)間。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章: