快捷導(dǎo)航

簡(jiǎn)單了解python gevent 協(xié)程使用及作用

更新時(shí)間：2019年07月22日 11:05:40 作者：jihite

這篇文章主要介紹了簡(jiǎn)單了解python gevent 協(xié)程,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

簡(jiǎn)介

沒(méi)有切換開(kāi)銷。因?yàn)樽映绦蚯袚Q不是線程切換，而是由程序自身控制，沒(méi)有線程切換的開(kāi)銷，因此執(zhí)行效率高，

不需要鎖機(jī)制。因?yàn)橹挥幸粋€(gè)線程，也不存在同時(shí)寫變量沖突，在協(xié)程中控制共享資源不加鎖，只需要判斷狀態(tài)就好了，所以執(zhí)行效率比多線程高很多

Python對(duì)協(xié)程的支持還非常有限，用在generator中的yield可以一定程度上實(shí)現(xiàn)協(xié)程。

yield

傳統(tǒng)的生產(chǎn)者-消費(fèi)者模型是一個(gè)線程寫消息，一個(gè)線程取消息，通過(guò)鎖機(jī)制控制隊(duì)列和等待，但一不小心就可能死鎖。

如果改用協(xié)程，生產(chǎn)者生產(chǎn)消息后，直接通過(guò)yield跳轉(zhuǎn)到消費(fèi)者開(kāi)始執(zhí)行，待消費(fèi)者執(zhí)行完畢后，切換回生產(chǎn)者繼續(xù)生產(chǎn)，效率極高

代碼

import time

def consumer():
  r = ''
  while True:
    n = yield r
    if not n:
      return
    print('[CONSUMER] Consuming %s....' % n)
    r = '200 OK'

def produce(c):
  c.next()
  n = 0
  while n < 5:
    n = n + 1
    print('[PRODUCER] Producing %s...' % n)
    r = c.send(n)
    print('[PRODUCER] Consumer return: %s\n' % r)
  c.close()

if __name__=='__main__':
  c = consumer()
  produce(c)

結(jié)果

[PRODUCER] Producing 1...
[CONSUMER] Consuming 1....
[PRODUCER] Consumer return: 200 OK

[PRODUCER] Producing 2...
[CONSUMER] Consuming 2....
[PRODUCER] Consumer return: 200 OK

[PRODUCER] Producing 3...
[CONSUMER] Consuming 3....
[PRODUCER] Consumer return: 200 OK

[PRODUCER] Producing 4...
[CONSUMER] Consuming 4....
[PRODUCER] Consumer return: 200 OK

[PRODUCER] Producing 5...
[CONSUMER] Consuming 5....
[PRODUCER] Consumer return: 200 OK

分析

首先調(diào)用c.next()啟動(dòng)生成器
然后，一旦生產(chǎn)了東西，通過(guò)c.send(n)切換到consumer執(zhí)行
consumer通過(guò)yield拿到消息，處理，又通過(guò)yield把結(jié)果傳回
produce拿到consumer處理的結(jié)果，繼續(xù)生產(chǎn)下一條消息

整個(gè)過(guò)程無(wú)鎖，由一個(gè)線程執(zhí)行，producer和consumer寫作完成任務(wù)，所以叫做協(xié)程

gevent

Python通過(guò)yield提供了對(duì)協(xié)程的基本支持，但是不完全。而第三方的gevent為Python提供了比較完善的協(xié)程支持

gevent是第三方庫(kù)，通過(guò)greenlet實(shí)現(xiàn)協(xié)程，其基本思想是：

當(dāng)一個(gè)greenlet遇到IO操作時(shí)（比如訪問(wèn)網(wǎng)絡(luò)），就自動(dòng)切換到其他的greenlet，等到IO操作完成，再在適當(dāng)?shù)臅r(shí)候切換回來(lái)繼續(xù)執(zhí)行。由于IO操作非常耗時(shí)，經(jīng)常使程序處于等待狀態(tài)，有了gevent為我們自動(dòng)切換協(xié)程，就保證總有g(shù)reenlet在運(yùn)行，而不是等待IO。

import gevent

def f(n):
  for i in range(n):
    print gevent.getcurrent(), i

g1 = gevent.spawn(f, 5)
g2 = gevent.spawn(f, 5)
g3 = gevent.spawn(f, 5)

g1.join()
g2.join()
g3.join()

結(jié)果

<Greenlet at 0x7f7216efbe10: f(5)> 0
<Greenlet at 0x7f7216efbe10: f(5)> 1
<Greenlet at 0x7f7216efbe10: f(5)> 2
<Greenlet at 0x7f7216efbe10: f(5)> 3
<Greenlet at 0x7f7216efbe10: f(5)> 4
<Greenlet at 0x7f720f54e0f0: f(5)> 0
<Greenlet at 0x7f720f54e0f0: f(5)> 1
<Greenlet at 0x7f720f54e0f0: f(5)> 2
<Greenlet at 0x7f720f54e0f0: f(5)> 3
<Greenlet at 0x7f720f54e0f0: f(5)> 4
<Greenlet at 0x7f720f54e190: f(5)> 0
<Greenlet at 0x7f720f54e190: f(5)> 1
<Greenlet at 0x7f720f54e190: f(5)> 2
<Greenlet at 0x7f720f54e190: f(5)> 3
<Greenlet at 0x7f720f54e190: f(5)> 4

可以看出3個(gè)greenlet依次運(yùn)行，而不是交替運(yùn)行

要讓greenlet交替運(yùn)行，可以通過(guò)gevent.sleep()交出控制權(quán)

import gevent

def f(n):
  for i in range(n):
    print gevent.getcurrent(), i
    gevent.sleep(1)

g1 = gevent.spawn(f, 3)
g2 = gevent.spawn(f, 3)
g3 = gevent.spawn(f, 3)

g1.join()
g2.join()
g3.join()

結(jié)果

<Greenlet at 0x7f74e2179e10: f(3)> 0
<Greenlet at 0x7f74da7cb0f0: f(3)> 0
<Greenlet at 0x7f74da7cb190: f(3)> 0
<Greenlet at 0x7f74e2179e10: f(3)> 1
<Greenlet at 0x7f74da7cb0f0: f(3)> 1
<Greenlet at 0x7f74da7cb190: f(3)> 1
<Greenlet at 0x7f74e2179e10: f(3)> 2
<Greenlet at 0x7f74da7cb0f0: f(3)> 2
<Greenlet at 0x7f74da7cb190: f(3)> 2

可以看出3個(gè)greenlet是交替執(zhí)行

如果把循環(huán)改為1000，讓執(zhí)行次數(shù)執(zhí)行時(shí)間長(zhǎng)些，查看進(jìn)程，可以看到線程只有一個(gè)。

當(dāng)然，實(shí)際代碼中，不可能用gevent.sleep()去切換協(xié)程，而是在執(zhí)行IO操作是，gevent自動(dòng)切換，參考代碼如下

import gevent
from gevent import monkey; monkey.patch_all()
import urllib2

def f(url):
  print 'GET: %s' % url
  resp = urllib2.urlopen(url)
  data = resp.read()
  print '[%d] bytes received from %s\n' %(len(data), url)

gevent.joinall([
gevent.spawn(f, 'http://www.cnblogs.com/kaituorensheng/'),
gevent.spawn(f, 'https://www.python.org/'),
gevent.spawn(f, 'https://www.baidu.com'),
])

執(zhí)行結(jié)果

GET: http://www.cnblogs.com/kaituorensheng/
GET: https://www.python.org/
GET: https://www.baidu.com
[227] bytes received from https://www.baidu.com

[14667] bytes received from http://www.cnblogs.com/kaituorensheng/

[47348] bytes received from https://www.python.org/

可以看到3個(gè)url結(jié)束順序并不是依次執(zhí)行完的。