快捷導(dǎo)航

Python提高運行速度工具之Pandarallel的使用教程

更新時間：2022年09月27日 11:37:12 作者：我愛Python數(shù)據(jù)挖掘

為了提高運行速度，我們一般會采用多進(jìn)程的方式。而常見的方案對于普通python玩家來說都不是特別友好，怎樣才能算作一個友好的并行處理方案？本文就來和大家講講pandarallel的使用

1.準(zhǔn)備

開始之前，你要確保Python和pip已經(jīng)成功安裝在電腦上

pip install pandarallel

2.使用 Pandarallel

使用前，需要對Pandarallel進(jìn)行初始化：

from pandarallel import pandarallel
pandarallel.initialize()

這樣才能調(diào)用并行計算的API，不過 initialize 中有一個重要參數(shù)需要說明，那就是 nb_workers ，它將指定并行計算的Worker數(shù)，如果沒有設(shè)置，所有CPU的核都會用上。

Pandarallel一共支持8種Pandas操作，下面是一個apply方法的例子。

import pandas as pd
import time
import math
import numpy as np
from pandarallel import pandarallel

# 初始化
pandarallel.initialize()
df_size = int(5e6)
df = pd.DataFrame(dict(a=np.random.randint(1, 8, df_size),
                       b=np.random.rand(df_size)))
def func(x):
    return math.sin(x.a**2) + math.sin(x.b**2)

# 正常處理
res = df.apply(func, axis=1)

# 并行處理
res_parallel = df.parallel_apply(func, axis=1)

# 查看結(jié)果是否相同
res.equals(res_parallel)

其他方法使用上也是類似的，在原始的函數(shù)名稱前加上 parallel_，比如 DataFrame.groupby.apply：

import pandas as pd
import time
import math
import numpy as np
from pandarallel import pandarallel

# 初始化
pandarallel.initialize()
df_size = int(3e7)
df = pd.DataFrame(dict(a=np.random.randint(1, 1000, df_size),
                       b=np.random.rand(df_size)))
def func(df):
    dum = 0
    for item in df.b:
        dum += math.log10(math.sqrt(math.exp(item**2)))
        
    return dum / len(df.b)

# 正常處理
res = df.groupby("a").apply(func)
# 并行處理
res_parallel = df.groupby("a").parallel_apply(func)
res.equals(res_parallel)

又比如 DataFrame.groupby.rolling.apply：

import pandas as pd
import time
import math
import numpy as np
from pandarallel import pandarallel

# 初始化
pandarallel.initialize()
df_size = int(1e6)
df = pd.DataFrame(dict(a=np.random.randint(1, 300, df_size),
                       b=np.random.rand(df_size)))
def func(x):
    return x.iloc[0] + x.iloc[1] ** 2 + x.iloc[2] ** 3 + x.iloc[3] ** 4

# 正常處理
res = df.groupby('a').b.rolling(4).apply(func, raw=False)
# 并行處理
res_parallel = df.groupby('a').b.rolling(4).parallel_apply(func, raw=False)
res.equals(res_parallel)

案例都是類似的，這里就直接列出表格，不浪費大家寶貴的時間去閱讀一些重復(fù)的例子了: