幾個(gè)提升Python運(yùn)行效率的方法之間的對(duì)比

更新時(shí)間：2015年04月03日 11:51:33 作者：Max Burstein

這篇文章主要介紹了幾個(gè)提升Python運(yùn)行效率的方法之間的對(duì)比,包括使用Cython和PyPy等這些熱門(mén)方法,需要的朋友可以參考下

在我看來(lái)，python社區(qū)分為了三個(gè)流派，分別是python 2.x組織，3.x組織和PyPy組織。這個(gè)分類(lèi)基本上可以歸根于類(lèi)庫(kù)的兼容性和速度。這篇文章將聚焦于一些通用代碼的優(yōu)化技巧以及編譯成C后性能的顯著提升，當(dāng)然我也會(huì)給出三大主要python流派運(yùn)行時(shí)間。我的目的不是為了證明一個(gè)比另一個(gè)強(qiáng)，只是為了讓你知道如何在不同的環(huán)境下使用這些具體例子作比較。

使用生成器

一個(gè)普遍被忽略的內(nèi)存優(yōu)化是生成器的使用。生成器讓我們創(chuàng)建一個(gè)函數(shù)一次只返回一條記錄，而不是一次返回所有的記錄，如果你正在使用python2.x，這就是你為啥使用xrange替代range或者使用ifilter替代filter的原因。一個(gè)很好地例子就是創(chuàng)建一個(gè)很大的列表并將它們拼合在一起。

import timeit
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1
 
def create_list(num):
numbers = []
while num:
numbers.append(random.randrange(10))
num -= 1
return numbers
print(timeit.timeit("sum(generate(999))", setup="from __main__ import generate", number=1000))
>>> 0.88098192215 #Python 2.7
>>> 1.416813850402832 #Python 3.2
print(timeit.timeit("sum(create_list(999))", setup="from __main__ import create_list", number=1000))
>>> 0.924163103104 #Python 2.7
>>> 1.5026731491088867 #Python 3.2

這不僅是快了一點(diǎn)，也避免了你在內(nèi)存中存儲(chǔ)全部的列表!

Ctypes的介紹

對(duì)于關(guān)鍵性的性能代碼python本身也提供給我們一個(gè)API來(lái)調(diào)用C方法，主要通過(guò) ctypes來(lái)實(shí)現(xiàn)，你可以不寫(xiě)任何C代碼來(lái)利用ctypes。默認(rèn)情況下python提供了預(yù)編譯的標(biāo)準(zhǔn)c庫(kù)，我們?cè)倩氐缴善鞯睦樱纯词褂胏types實(shí)現(xiàn)花費(fèi)多少時(shí)間。

import timeit
from ctypes import cdll
 
def generate_c(num):
#Load standard C library
libc = cdll.LoadLibrary("libc.so.6") #Linux
#libc = cdll.msvcrt #Windows
while num:
yield libc.rand() % 10
num -= 1
 
print(timeit.timeit("sum(generate_c(999))", setup="from __main__ import generate_c", number=1000))
>>> 0.434374809265 #Python 2.7
>>> 0.7084300518035889 #Python 3.2

僅僅換成了c的隨機(jī)函數(shù)，運(yùn)行時(shí)間減了大半！現(xiàn)在如果我告訴你我們還能做得更好，你信嗎?

Cython的介紹

Cython 是python的一個(gè)超集，允許我們調(diào)用C函數(shù)以及聲明變量來(lái)提高性能。嘗試使用之前我們需要先安裝Cython.

sudo pip install cython

Cython 本質(zhì)上是另一個(gè)不再開(kāi)發(fā)的類(lèi)似類(lèi)庫(kù)Pyrex的分支，它將我們的類(lèi)Python代碼編譯成C庫(kù)，我們可以在一個(gè)python文件中調(diào)用。對(duì)于你的python文件使用.pyx后綴替代.py后綴，讓我們看一下使用Cython如何來(lái)運(yùn)行我們的生成器代碼。

#cython_generator.pyx
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1

我們需要?jiǎng)?chuàng)建個(gè)setup.py以便我們能獲取到Cython來(lái)編譯我們的函數(shù)。

from distutils.core import setup
from distutils.extension import Extension
from Cython.Distutils import build_ext
 
setup(
cmdclass = {'build_ext': build_ext},
ext_modules = [Extension("generator", ["cython_generator.pyx"])]
)

編譯使用:

python setup.py build_ext --inplace

你應(yīng)該可以看到兩個(gè)文件cython_generator.c 文件和 generator.so文件，我們使用下面方法測(cè)試我們的程序:

import timeit
print(timeit.timeit("sum(generator.generate(999))", setup="import generator", number=1000))
>>> 0.835658073425

還不賴，讓我們看看是否還有可以改進(jìn)的地方。我們可以先聲明“num”為整形，接著我們可以導(dǎo)入標(biāo)準(zhǔn)的C庫(kù)來(lái)負(fù)責(zé)我們的隨機(jī)函數(shù)。

#cython_generator.pyx
cdef extern from "stdlib.h":
int c_libc_rand "rand"()
 
def generate(int num):
while num:
yield c_libc_rand() % 10
num -= 1

如果我們?cè)俅尉幾g運(yùn)行我們會(huì)看到這一串驚人的數(shù)字。

>>> 0.033586025238

僅僅的幾個(gè)改變帶來(lái)了不賴的結(jié)果。然而，有時(shí)這個(gè)改變很乏味，因此讓我們來(lái)看看如何使用規(guī)則的python來(lái)實(shí)現(xiàn)吧。
PyPy的介紹

PyPy 是一個(gè)Python2.7.3的即時(shí)編譯器，通俗地說(shuō)這意味著讓你的代碼運(yùn)行的更快。Quora在生產(chǎn)環(huán)境中使用了PyPy。PyPy在它們的下載頁(yè)面有一些安裝說(shuō)明，但是如果你使用的Ubuntu系統(tǒng)，你可以通過(guò)apt-get來(lái)安裝。它的運(yùn)行方式是立即可用的，因此沒(méi)有瘋狂的bash或者運(yùn)行腳本，只需下載然后運(yùn)行即可。讓我們看看我們?cè)嫉纳善鞔a在PyPy下的性能如何。

import timeit
import random
 
def generate(num):
while num:
yield random.randrange(10)
num -= 1
 
def create_list(num):
numbers = []
while num:
numbers.append(random.randrange(10))
num -= 1
return numbers
print(timeit.timeit("sum(generate(999))", setup="from __main__ import generate", number=1000))
>>> 0.115154981613 #PyPy 1.9
>>> 0.118431091309 #PyPy 2.0b1
print(timeit.timeit("sum(create_list(999))", setup="from __main__ import create_list", number=1000))
>>> 0.140175104141 #PyPy 1.9
>>> 0.140514850616 #PyPy 2.0b1

哇！沒(méi)有修改一行代碼運(yùn)行速度是純python實(shí)現(xiàn)的8倍。

進(jìn)一步測(cè)試為什么還要進(jìn)一步研究？PyPy是冠軍！并不全對(duì)。雖然大多數(shù)程序可以運(yùn)行在PyPy上，但是還是有一些庫(kù)沒(méi)有被完全支持。而且，為你的項(xiàng)目寫(xiě)C的擴(kuò)展相比換一個(gè)編譯器更加容易。讓我們更加深入一些，看看ctypes如何讓我們使用C來(lái)寫(xiě)庫(kù)。我們來(lái)測(cè)試一下歸并排序和計(jì)算斐波那契數(shù)列的速度。下面是我們要用到的C代碼（functions.c）：

/* functions.c */
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
 
/* http://rosettacode.org/wiki/Sorting_algorithms/Merge_sort#C */
inline void
merge (int *left, int l_len, int *right, int r_len, int *out)
{
int i, j, k;
for (i = j = k = 0; i < l_len && j < r_len;)
out[k++] = left[i] < right[j] ? left[i++] : right[j++];
while (i < l_len)
out[k++] = left[i++];
while (j < r_len)
out[k++] = right[j++];
}
 
/* inner recursion of merge sort */
void
recur (int *buf, int *tmp, int len)
{
int l = len / 2;
if (len <= 1)
return;
/* note that buf and tmp are swapped */
recur (tmp, buf, l);
recur (tmp + l, buf + l, len - l);
merge (tmp, l, tmp + l, len - l, buf);
}
 
/* preparation work before recursion */
void
merge_sort (int *buf, int len)
{
/* call alloc, copy and free only once */
int *tmp = malloc (sizeof (int) * len);
memcpy (tmp, buf, sizeof (int) * len);
recur (buf, tmp, len);
free (tmp);
}
 
int
fibRec (int n)
{
if (n < 2)
return n;
else
return fibRec (n - 1) + fibRec (n - 2);
}

在Linux平臺(tái)，我們可以用下面的方法把它編譯成一個(gè)共享庫(kù)：

gcc -Wall -fPIC -c functions.c
gcc -shared -o libfunctions.so functions.o

使用ctypes，通過(guò)加載”libfunctions.so”這個(gè)共享庫(kù)，就像我們前邊對(duì)標(biāo)準(zhǔn)C庫(kù)所作的那樣，就可以使用這個(gè)庫(kù)了。這里我們將要比較Python實(shí)現(xiàn)和C實(shí)現(xiàn)?，F(xiàn)在我們開(kāi)始計(jì)算斐波那契數(shù)列：

# functions.py
 
from ctypes import *
import time
 
libfunctions = cdll.LoadLibrary("./libfunctions.so")
 
def fibRec(n):
if n < 2:
return n
else:
return fibRec(n-1) + fibRec(n-2)
 
start = time.time()
fibRec(32)
finish = time.time()
print("Python: " + str(finish - start))
 
# C Fibonacci
start = time.time()
x = libfunctions.fibRec(32)
finish = time.time()
print("C: " + str(finish - start))

正如我們預(yù)料的那樣，C比Python和PyPy更快。我們也可以用同樣的方式比較歸并排序。

我們還沒(méi)有深挖Cypes庫(kù)，所以這些例子并沒(méi)有反映python強(qiáng)大的一面，Cypes庫(kù)只有少量的標(biāo)準(zhǔn)類(lèi)型限制，比如int型，char數(shù)組，float型，字節(jié)（bytes）等等。默認(rèn)情況下，沒(méi)有整形數(shù)組，然而通過(guò)與c_int相乘（ctype為int類(lèi)型）我們可以間接獲得這樣的數(shù)組。這也是代碼第7行所要呈現(xiàn)的。我們創(chuàng)建了一個(gè)c_int數(shù)組，有關(guān)我們數(shù)字的數(shù)組并分解打包到c_int數(shù)組中

主要的是c語(yǔ)言不能這樣做，而且你也不想。我們用指針來(lái)修改函數(shù)體。為了通過(guò)我們的c_numbers的數(shù)列，我們必須通過(guò)引用傳遞merge_sort功能。運(yùn)行merge_sort后，我們利用c_numbers數(shù)組進(jìn)行排序，我已經(jīng)把下面的代碼加到我的functions.py文件中了。

#Python Merge Sort
from random import shuffle, sample
 
#Generate 9999 random numbers between 0 and 100000
numbers = sample(range(100000), 9999)
shuffle(numbers)
c_numbers = (c_int * len(numbers))(*numbers)
 
from heapq import merge
def merge_sort(m):
if len(m) <= 1:
return m
middle = len(m) // 2
left = m[:middle]
right = m[middle:]
left = merge_sort(left)
right = merge_sort(right)
return list(merge(left, right))
 
start = time.time()
numbers = merge_sort(numbers)
finish = time.time()
print("Python: " + str(finish - start))
 
#C Merge Sort
start = time.time()
libfunctions.merge_sort(byref(c_numbers), len(numbers))
finish = time.time()
print("C: " + str(finish - start))
 
Python: 0.190635919571 #Python 2.7
Python: 0.11785483360290527 #Python 3.2
Python: 0.266992092133 #PyPy 1.9
Python: 0.265724897385 #PyPy 2.0b1
C: 0.00201296806335 #Python 2.7 + ctypes
C: 0.0019741058349609375 #Python 3.2 + ctypes
C: 0.0029308795929 #PyPy 1.9 + ctypes
C: 0.00287103652954 #PyPy 2.0b1 + ctypes

這兒通過(guò)表格和圖標(biāo)來(lái)比較不同的結(jié)果。

201543114520581.jpg (558×312)