面試官: 聽說你熟悉python，那么你能簡單闡述一下python的裝飾器、生成器以及迭代器么？

我: emm, 我不清楚，我只是了解過python最基本的代碼。

上述是弟弟前段時(shí)間去面試運(yùn)維開發(fā)，遇到的問題，emmm，運(yùn)維是一個很雜的職業(yè)，在小公司，總結(jié)一句話就是寬而淺，痛定思痛，決定來了解一下python特性，于是乎，就有了這篇文章。

這邊文章，我們將介紹python生成器，使用環(huán)境為: Python 3.6.8

如果你還沒有了解過迭代器，建議查看迭代器的文章：《python | 你知道for...in是底層原理是什么樣的么？探尋python迭代器》

什么是python生成器

上一篇文章我們介紹了迭代器，而生成器是一種特殊的迭代器，它內(nèi)部也有__iter__方法和__next__方法，在終止生成器的時(shí)候，還是會拋StopIteration異常以此來退出循環(huán)，只不過相比于迭代器，生成器還有特性會保存“中間值”，下次運(yùn)行的時(shí)候，還會借助這個“中間值”來操作。生成器的關(guān)鍵字是yield，我們下面來寫一個最簡單的生成器。

#!/usr/bin/env python

def printNums():
    i = 0
    while i<10:
        yield i
        i = i + 1


def main():
    for i in printNums():
        print(i)

if __name__ == '__main__':
    main()

粗看代碼，可能會覺著這個是個啥啊，為啥不直接用range來生成，偏偏要用yield，哎，不急，我們接著往下看為什么需要生成器，或者說，生成器解決了什么問題。

為什么需要python生成器

在說明這個問題之前，我們先來寫一個需求，輸出 0——10000000 以內(nèi)的數(shù)據(jù)，而后運(yùn)行查看導(dǎo)出內(nèi)存運(yùn)行截圖。

調(diào)用python程序內(nèi)存信息輔助說明

這里可以借助python的memory_profiler模塊來檢測程序內(nèi)存的占用情況。

安裝memory_profiler庫:

pip3 install memory_profiler

使用方法很簡單，在需要檢測的函數(shù)或者是代碼前添加@profile裝飾器即可，例如:

@profile
def main():
    pass

生成.dat文件

mprof run <executable>

導(dǎo)出圖示，可以使用

mprof plot --output=filename

python案例代碼

以下2個程序，都是輸出0—9999999之間的數(shù)據(jù)，不同的是，第一個程序是使用range而后給append進(jìn)list中，第二個則是使用迭代器來生成該數(shù)據(jù)。

main.py程序

@profile
def main():
    data = list(range(10000000))
    for i in data:
        pass

if __name__ == '__main__':
    main()

main_2.py程序

def printNum():
    i = 0 
    while i < 10000000:
        yield i
        i = i + 1

@profile
def main():
    for i in printNum():
        pass

if __name__ == '__main__':
    main()

運(yùn)行程序

代碼也有了，就可以按照上述來運(yùn)行一下程序，并且導(dǎo)出內(nèi)存信息

運(yùn)行后內(nèi)存信息查看

main.py 運(yùn)行內(nèi)存圖

main_2.py 運(yùn)行內(nèi)存圖

如上2張對比圖，當(dāng)我們將數(shù)據(jù)疊加進(jìn)列表，再輸出的時(shí)候，占用內(nèi)存接近400M，而使用迭代器來計(jì)算下一個值內(nèi)存僅使用16M。

通過上述案例，我們應(yīng)該知道為什么要使用生成器了吧。

python生成器原理

由于生成器表達(dá)式yield語句涉及到了python解釋權(quán)內(nèi)部機(jī)制，所以很難查看其源碼，很難獲取其原理，不過我們可以利用yield的暫停機(jī)制，來探尋一下生成器。

可以編寫如下代碼：

def testGenerator():
    print("進(jìn)入生成器")
    yield "pdudo"
    print("第一次輸出")
    yield "juejin"
    print("第二次輸出")

def main():
    xx = testGenerator()
    print(next(xx))
    print(next(xx))

if __name__ == '__main__':
    main()

運(yùn)行后效果如下

通過上述實(shí)例，再結(jié)合下面這段生成器的運(yùn)行過程，會加深對生成器的感觸。

當(dāng)python遇到yield語句時(shí)，會記錄當(dāng)前函數(shù)的運(yùn)行狀態(tài)，并且暫停執(zhí)行，將結(jié)果拋出。會持續(xù)等待下一次調(diào)用__next__方法，該方法調(diào)用后，會恢復(fù)函數(shù)的運(yùn)行，直至下一個yield語句或者函數(shù)結(jié)束，執(zhí)行到最后沒有yield函數(shù)可執(zhí)行的時(shí)候，會拋StopIteration來標(biāo)志生成器的結(jié)束。

生成器表達(dá)式

在python中，生成器除了寫在函數(shù)中，使用yield返回之外，還可以直接使用生成器表達(dá)式，額。。?？赡芎艹橄螅悄憧聪旅孢@段代碼，你就明白了。

def printNums():
    for i in [1,2,3,4,5]:
        yield i

def main():
    for i in printNums():
        print(i)

    gener = (i for i in [1,2,3,4,5])
    for i in gener:
        print(i)

if __name__ == '__main__':
    main()

其中，代碼(i for i in [1,2,3,4,5])就等同于printNums函數(shù)，其類型都是生成器，我們可以使用type打印出來看下。

改下代碼，輸出結(jié)果如下:

好了，生成器表達(dá)式其實(shí)不復(fù)雜，暫時(shí)就講到這里。

總結(jié)

該篇文章是介紹python生成器，所謂的生成器其實(shí)也是一個特殊的迭代器，其底層依然有__iter__和__next__方法，不僅如此，它還可以將函數(shù)“暫停”，當(dāng)遇到_next__后，又從上一次暫停的地方開始執(zhí)行，既然是一個特殊的迭代器，所以還是會引發(fā)StopIteration異常。而后介紹了為什么需要生成器，距了一個例子，分別打印0——n個數(shù)，一個使用生成器 還有一個 使用list，當(dāng)然list會更加耗費(fèi)內(nèi)存，最后介紹了生成器原理 以及 生成器表達(dá)式。

到此這篇關(guān)于一文帶你探尋Python中的生成器的文章就介紹到這了,更多相關(guān)Python生成器內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評論