最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

一行代碼讓 Python 的運(yùn)行速度提高100倍

 更新時(shí)間:2018年10月08日 09:32:41   投稿:mrr  
python一直被病垢運(yùn)行速度太慢,但是實(shí)際上python的執(zhí)行效率并不慢,慢的是python用的解釋器Cpython運(yùn)行效率太差。這篇文章主要介紹了一行代碼讓 Python 的運(yùn)行速度提高100倍的相關(guān)知識,需要的朋友可以參考下

python一直被病垢運(yùn)行速度太慢,但是實(shí)際上python的執(zhí)行效率并不慢,慢的是python用的解釋器Cpython運(yùn)行效率太差。

“一行代碼讓python的運(yùn)行速度提高100倍”這絕不是嘩眾取寵的論調(diào)。

我們來看一下這個(gè)最簡單的例子,從1一直累加到1億。

最原始的代碼:

import time
def foo(x,y):
  tt = time.time()
  s = 0
  for i in range(x,y):
    s += i
  print('Time used: {} sec'.format(time.time()-tt))
  return s
print(foo(1,100000000))

結(jié)果:

Time used: 6.779874801635742 sec
4999999950000000

我們來加一行代碼,再看看結(jié)果:

from numba import jit
import time
@jit
def foo(x,y):
  tt = time.time()
  s = 0
  for i in range(x,y):
    s += i
  print('Time used: {} sec'.format(time.time()-tt))
  return s
print(foo(1,100000000))

結(jié)果:

Time used: 0.04680037498474121 sec
4999999950000000

是不是快了100多倍呢?

那么下面就分享一下“為啥numba庫的jit模塊那么牛掰?”

NumPy的創(chuàng)始人Travis Oliphant在離開Enthought之后,創(chuàng)建了CONTINUUM,致力于將Python大數(shù)據(jù)處理方面的應(yīng)用。最近推出的Numba項(xiàng)目能夠?qū)⑻幚鞱umPy數(shù)組的Python函數(shù)JIT編譯為機(jī)器碼執(zhí)行,從而上百倍的提高程序的運(yùn)算速度。

Numba項(xiàng)目的主頁上有Linux下的詳細(xì)安裝步驟。編譯LLVM需要花一些時(shí)間。

Windows用戶可以從Unofficial Windows Binaries for Python Extension Packages下載安裝LLVMPy、meta和numba等幾個(gè)擴(kuò)展庫。

下面我們看一個(gè)例子:

import numba as nb
from numba import jit
@jit('f8(f8[:])')
def sum1d(array):
 s = 0.0
 n = array.shape[0]
 for i in range(n):
  s += array[i]
 return s
import numpy as np
array = np.random.random(10000)
%timeit sum1d(array)
%timeit np.sum(array)
%timeit sum(array)
10000 loops, best of 3: 38.9 us per loop
10000 loops, best of 3: 32.3 us per loop
100 loops, best of 3: 12.4 ms per loop

numba中提供了一些修飾器,它們可以將其修飾的函數(shù)JIT編譯成機(jī)器碼函數(shù),并返回一個(gè)可在Python中調(diào)用機(jī)器碼的包裝對象。為了能將Python函數(shù)編譯成能高速執(zhí)行的機(jī)器碼,我們需要告訴JIT編譯器函數(shù)的各個(gè)參數(shù)和返回值的類型。我們可以通過多種方式指定類型信息,在上面的例子中,類型信息由一個(gè)字符串'f8(f8[:])'指定。其中'f8'表示8個(gè)字節(jié)雙精度浮點(diǎn)數(shù),括號前面的'f8'表示返回值類型,括號里的表示參數(shù)類型,'[:]'表示一維數(shù)組。因此整個(gè)類型字符串表示sum1d()是一個(gè)參數(shù)為雙精度浮點(diǎn)數(shù)的一維數(shù)組,返回值是一個(gè)雙精度浮點(diǎn)數(shù)。

需要注意的是,JIT所產(chǎn)生的函數(shù)只能對指定的類型的參數(shù)進(jìn)行運(yùn)算:

print sum1d(np.ones(10, dtype=np.int32))
print sum1d(np.ones(10, dtype=np.float32))
print sum1d(np.ones(10, dtype=np.float64))
1.2095376009e-312
1.46201599944e+185
10.0

如果希望JIT能針對所有類型的參數(shù)進(jìn)行運(yùn)算,可以使用autojit:

from numba import autojit
@autojit
def sum1d2(array):
 s = 0.0
 n = array.shape[0]
 for i in range(n):
  s += array[i]
 return s
%timeit sum1d2(array)
print sum1d2(np.ones(10, dtype=np.int32))
print sum1d2(np.ones(10, dtype=np.float32))
print sum1d2(np.ones(10, dtype=np.float64))
10000 loops, best of 3: 143 us per loop
10.0
10.0
10.0

autoit雖然可以根據(jù)參數(shù)類型動(dòng)態(tài)地產(chǎn)生機(jī)器碼函數(shù),但是由于它需要每次檢查參數(shù)類型,因此計(jì)算速度也有所降低。numba的用法很簡單,基本上就是用jit和autojit這兩個(gè)修飾器,和一些類型對象。下面的程序列出numba所支持的所有類型:

print [obj for obj in nb.__dict__.values() if isinstance(obj, nb.minivect.minitypes.Type)]
[size_t, Py_uintptr_t, uint16, complex128, float, complex256, void, int , long double,
unsigned PY_LONG_LONG, uint32, complex256, complex64, object_, npy_intp, const char *,
double, unsigned short, float, object_, float, uint64, uint32, uint8, complex128, uint16,
int, int , uint8, complex64, int8, uint64, double, long double, int32, double, long double,
char, long, unsigned char, PY_LONG_LONG, int64, int16, unsigned long, int8, int16, int32,
unsigned int, short, int64, Py_ssize_t]

工作原理

numba的通過meta模塊解析Python函數(shù)的ast語法樹,對各個(gè)變量添加相應(yīng)的類型信息。然后調(diào)用llvmpy生成機(jī)器碼,最后再生成機(jī)器碼的Python調(diào)用接口。

meta模塊

通過研究numba的工作原理,我們可以找到許多有用的工具。例如meta模塊可在程序源碼、ast語法樹以及Python二進(jìn)制碼之間進(jìn)行相互轉(zhuǎn)換。下面看一個(gè)例子:

def add2(a, b):
 return a + b

decompile_func能將函數(shù)的代碼對象反編譯成ast語法樹,而str_ast能直觀地顯示ast語法樹,使用這兩個(gè)工具學(xué)習(xí)Python的ast語法樹是很有幫助的。

from meta.decompiler import decompile_func
from meta.asttools import str_ast
print str_ast(decompile_func(add2))
FunctionDef(args=arguments(args=[Name(ctx=Param(),
          id='a'),
         Name(ctx=Param(),
          id='b')],
       defaults=[],
       kwarg=None,
       vararg=None),
   body=[Return(value=BinOp(left=Name(ctx=Load(),
            id='a'),
          op=Add(),
          right=Name(ctx=Load(),
            id='b')))],
   decorator_list=[],
   name='add2')

而python_source可以將ast語法樹轉(zhuǎn)換為Python源代碼:

from meta.asttools import python_source
python_source(decompile_func(add2))
def add2(a, b):
 return (a + b)

decompile_pyc將上述二者結(jié)合起來,它能將Python編譯之后的pyc或者pyo文件反編譯成源代碼。下面我們先寫一個(gè)tmp.py文件,然后通過py_compile將其編譯成tmp.pyc。

with open("tmp.py", "w") as f:
 f.write("""
def square_sum(n):
 s = 0
 for i in range(n):
  s += i**2
 return s
""")
import py_compile
py_compile.compile("tmp.py")

下面調(diào)用decompile_pyc將tmp.pyc顯示為源代碼:

with open("tmp.pyc", "rb") as f:
 decompile_pyc(f)
def square_sum(n):
 s = 0
 for i in range(n):
  s += (i ** 2)
 return s

llvmpy模塊

LLVM是一個(gè)動(dòng)態(tài)編譯器,llvmpy則可以通過Python調(diào)用LLVM動(dòng)態(tài)地創(chuàng)建機(jī)器碼。直接通過llvmpy創(chuàng)建機(jī)器碼是比較繁瑣的,例如下面的程序創(chuàng)建一個(gè)計(jì)算兩個(gè)整數(shù)之和的函數(shù),并調(diào)用它計(jì)算結(jié)果。

from llvm.core import Module, Type, Builder
from llvm.ee import ExecutionEngine, GenericValue
# Create a new module with a function implementing this:
#
# int add(int a, int b) {
# return a + b;
# }
#
my_module = Module.new('my_module')
ty_int = Type.int()
ty_func = Type.function(ty_int, [ty_int, ty_int])
f_add = my_module.add_function(ty_func, "add")
f_add.args[0].name = "a"
f_add.args[1].name = "b"
bb = f_add.append_basic_block("entry")
# IRBuilder for our basic block
builder = Builder.new(bb)
tmp = builder.add(f_add.args[0], f_add.args[1], "tmp")
builder.ret(tmp)
# Create an execution engine object. This will create a JIT compiler
# on platforms that support it, or an interpreter otherwise
ee = ExecutionEngine.new(my_module)
# Each argument needs to be passed as a GenericValue object, which is a kind
# of variant
arg1 = GenericValue.int(ty_int, 100)
arg2 = GenericValue.int(ty_int, 42)
# Now let's compile and run!
retval = ee.run_function(f_add, [arg1, arg2])
# The return value is also GenericValue. Let's print it.
print "returned", retval.as_int()
returned 142

f_add就是一個(gè)動(dòng)態(tài)生成的機(jī)器碼函數(shù),我們可以把它想象成C語言編譯之后的函數(shù)。在上面的程序中,我們通過ee.run_function調(diào)用此函數(shù),而實(shí)際上我們還可以獲得它的地址,然后通過Python的ctypes模塊調(diào)用它。
首先通過ee.get_pointer_to_function獲得f_add函數(shù)的地址:

addr = ee.get_pointer_to_function(f_add)
addr
2975997968L

然后通過ctypes.PYFUNCTYPE創(chuàng)建一個(gè)函數(shù)類型:

import ctypes
f_type = ctypes.PYFUNCTYPE(ctypes.c_int, ctypes.c_int, ctypes.c_int)

最后通過f_type將函數(shù)的地址轉(zhuǎn)換為可調(diào)用的Python函數(shù),并調(diào)用它:

f = f_type(addr)
f(100, 42)
142

numba所完成的工作就是:

解析Python函數(shù)的ast語法樹并加以改造,添加類型信息;

將帶類型信息的ast語法樹通過llvmpy動(dòng)態(tài)地轉(zhuǎn)換為機(jī)器碼函數(shù),然后再通過和ctypes類似的技術(shù)為機(jī)器碼函數(shù)創(chuàng)建包裝函數(shù)供Python調(diào)用。

總結(jié)

以上所述是小編給大家介紹的一行代碼讓 Python 的運(yùn)行速度提高100倍,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持!

相關(guān)文章

  • 詳解python 一維、二維列表的初始化問題

    詳解python 一維、二維列表的初始化問題

    這篇文章主要介紹了python 一維、二維列表的初始化,本文通過兩種方式給大家詳細(xì)講解,對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友參考下吧
    2022-06-06
  • 用生成器來改寫直接返回列表的函數(shù)方法

    用生成器來改寫直接返回列表的函數(shù)方法

    下面小編就為大家?guī)硪黄蒙善鱽砀膶懼苯臃祷亓斜淼暮瘮?shù)方法。小編覺得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧
    2017-05-05
  • 解決python報(bào)錯(cuò):AttributeError:?'ImageDraw'?object?has?no?attribute?'textbbox'

    解決python報(bào)錯(cuò):AttributeError:?'ImageDraw'?object?h

    這篇文章主要給大家介紹了關(guān)于解決python報(bào)錯(cuò):AttributeError:?'ImageDraw'?object?has?no?attribute?'textbbox'的相關(guān)資料,文中通過圖文介紹的非常詳細(xì),需要的朋友可以參考下
    2024-01-01
  • python腳本調(diào)用iftop 統(tǒng)計(jì)業(yè)務(wù)應(yīng)用流量的思路詳解

    python腳本調(diào)用iftop 統(tǒng)計(jì)業(yè)務(wù)應(yīng)用流量的思路詳解

    這篇文章主要介紹了python腳本調(diào)用iftop 統(tǒng)計(jì)業(yè)務(wù)應(yīng)用流量的思路詳解,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
    2019-10-10
  • python繼續(xù)找對象詳解

    python繼續(xù)找對象詳解

    這篇文章主要為大家介紹了python繼續(xù)找對象的方法,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來幫助
    2022-01-01
  • Python退出While循環(huán)的3種方法舉例詳解

    Python退出While循環(huán)的3種方法舉例詳解

    在每次循環(huán)結(jié)束后,我們需要檢查循環(huán)條件是否滿足。如果條件滿足,則繼續(xù)執(zhí)行循環(huán)體內(nèi)的代碼,否則退出循環(huán),這篇文章主要給大家介紹了關(guān)于Python退出While循環(huán)的3種方法,需要的朋友可以參考下
    2023-10-10
  • Python實(shí)現(xiàn)將Word和Excel文件轉(zhuǎn)換為PPT

    Python實(shí)現(xiàn)將Word和Excel文件轉(zhuǎn)換為PPT

    在日常工作中,我們經(jīng)常需要將多個(gè)Word文檔或Excel表格的內(nèi)容匯總到一個(gè)PPT演示文稿中,手動(dòng)執(zhí)行這項(xiàng)任務(wù)可能非常耗時(shí),因此,使用Python自動(dòng)化這個(gè)過程可以大大提高效率,所以本文給大家介紹了Python實(shí)現(xiàn)將Word和Excel文件轉(zhuǎn)換為PPT,需要的朋友可以參考下
    2024-08-08
  • Windows安裝Anaconda并且配置國內(nèi)鏡像的詳細(xì)教程

    Windows安裝Anaconda并且配置國內(nèi)鏡像的詳細(xì)教程

    我們在學(xué)習(xí) Python 的時(shí)候需要不同的 Python 版本,關(guān)系到電腦環(huán)境變量配置換來換去很是麻煩,所以這個(gè)時(shí)候我們需要一個(gè)虛擬的 Python 環(huán)境變量,這篇文章主要介紹了Windows安裝Anaconda并且配置國內(nèi)鏡像教程,需要的朋友可以參考下
    2023-01-01
  • python鏈接Oracle數(shù)據(jù)庫的方法

    python鏈接Oracle數(shù)據(jù)庫的方法

    這篇文章主要介紹了python鏈接Oracle數(shù)據(jù)庫的方法,實(shí)例分析了Python使用cx_Oracle模塊操作Oracle數(shù)據(jù)庫的相關(guān)技巧,需要的朋友可以參考下
    2015-06-06
  • python 用Matplotlib作圖中有多個(gè)Y軸

    python 用Matplotlib作圖中有多個(gè)Y軸

    這篇文章主要介紹了python 如何用Matplotlib作圖中有多個(gè)Y軸,幫助大家更好的利用python繪圖,感興趣的朋友可以了解下
    2020-11-11

最新評論

信宜市| 额济纳旗| 中卫市| 佛冈县| 昭觉县| 云阳县| 顺义区| 察隅县| 福泉市| 肥乡县| 清流县| 多伦县| 威信县| 遂宁市| 乃东县| 阿巴嘎旗| 东丽区| 景德镇市| 迁安市| 星座| 济宁市| 黄梅县| 永定县| 鄂温| 通江县| 长宁区| 桂平市| 东乌珠穆沁旗| 汽车| 肇庆市| 都江堰市| 定州市| 建德市| 祁阳县| 新晃| 康平县| 富阳市| 灵丘县| 汽车| 泰州市| 广宗县|