快捷導航

Pandas借助Numpy實現(xiàn)優(yōu)化的條件檢索代碼

更新時間：2024年03月21日 15:34:45 作者：wang_yb

Numpy其實是最早的處理數(shù)據(jù)的Python庫,它的核心ndarray對象,是一個高效的n維數(shù)組結(jié)構(gòu),本文主要介紹了Pandas如何借助Numpy優(yōu)化條件檢索,感興趣的可以了解下

Pandas就是其中之一，Pandas充分利用了NumPy的數(shù)組運算功能，使得數(shù)據(jù)處理和分析更加高效。
比如，Pandas中最重要的兩個數(shù)據(jù)結(jié)構(gòu)Series和DataFrame在內(nèi)部就使用了NumPy的ndarray來存儲數(shù)據(jù)。

在使用Pandas進行數(shù)據(jù)分析的過程中，按條件檢索和過濾數(shù)據(jù)是最頻繁的操作。
本文介紹兩種通過結(jié)合Numpy，一方面讓Pandas的檢索過濾代碼更加簡潔易懂，另一方面還能保障檢索過濾的高性能。

1. 準備數(shù)據(jù)

第一步，先準備數(shù)據(jù)，這次使用二手房交易數(shù)據(jù)，可從 https://databook.top/lianjia/nj 下載。

import pandas as pd
import numpy as np

# 這個路徑替換成自己的路徑
fp = r'D:\data\南京二手房交易\南京江寧區(qū).csv'

df = pd.read_csv(fp)
df.head()

2. 一般條件判斷（np.where）

比如，買房前我們想先分析下已有的成交信息，對于房價能有個大致的印象。

下面，按照總價和單價，先挑選總價200~300萬之間，或者單價1萬以下的成交信息。

符合條件返回“OK”，否則返回“NG”。

def filter_data(row):
    if row["totalPrice"] > 200 and row["totalPrice"] < 300:
        return "OK"

    if row["unitPrice"] < 10000:
        return "OK"

    return "NG"

df["評估"] = df.apply(filter_data, axis=1)
df[df["評估"] == "OK"].head()

上面的過濾數(shù)據(jù)寫法是使用Pandas時用的比較多的方式，也就是將過濾條件封裝到一個自定義函數(shù)（filter_data）中，然后通過 apply 函數(shù)來完成數(shù)據(jù)過濾。

下面我們用Numpy的 np.where 接口來改造上面的代碼。

np.where類似Python編程語言中的if-else判斷，基本語法：

import numpy as np

np.where(condition[, x, y])

其中：

condition：條件表達式，返回布爾數(shù)組。
x 和 y：可選參數(shù)，condition為True，返回x，反之，返回y。

如果未提供x 和 y，則函數(shù)僅返回滿足條件的元素的索引。

改造后的代碼如下：

# 根據(jù)單價過濾
cond_unit_price = np.where(
    df["unitPrice"] < 10000,
    "OK",
    "NG",
)

# 先根據(jù)總價過濾，不滿足條件再用單價過濾
cond_total_price = np.where(
    (df["totalPrice"] > 200) & (df["totalPrice"] < 300),
    "OK",
    cond_unit_price,
)

df["評估"] = cond_total_price
df[df["評估"] == "OK"].head()

運行之后返回的結(jié)果是一樣的，但是性能提升很多。

如果數(shù)據(jù)量是幾十萬量級的話，你會發(fā)現(xiàn)改造之后的代碼運行效率提高了幾百倍。

3. 復(fù)雜多條件判斷（np.select）

上面的示例中，判斷還比較簡單，屬于if-else，也就是是與否的判斷。

下面設(shè)計一種更復(fù)雜的判斷，將成交信息評估為“優(yōu)良中差”4個等級，而不僅僅是“OK”和“NG”。

我們假設(shè)：

優(yōu)：房屋精裝，且位于中樓層，且近地鐵
良：總價<300，且近地鐵
中：總價<400
差：其他情況

用傳統(tǒng)的方式，同樣是封裝一個類似filter_data的函數(shù)來判斷“優(yōu)良中差”4個等級，然后用 apply 函數(shù)來完成數(shù)據(jù)過濾。

這里就不演示了，直接看結(jié)合Numpy的np.select接口，高效的完成“優(yōu)良中差”4個等級的過濾。

np.select類似Python編程語言中的match匹配，基本語法：

numpy.select(condlist, choicelist, default=0)

其中：

condlist：條件列表，每個條件都是一個布爾數(shù)組。
choicelist：與 condlist 對應(yīng)的數(shù)組列表，當某個條件為真時，返回該位置對應(yīng)的數(shù)組中的元素。
default：可選參數(shù)，當沒有條件為真時返回的默認值。

# 設(shè)置 “優(yōu)，良，中” 的判斷條件
conditions = [
    df["houseInfo"].str.contains("精裝")
    & df["positionInfo"].str.contains("中樓層")
    & df["advantage"].str.contains("近地鐵"),
    
    (df["totalPrice"] < 300) & df["advantage"].str.contains("近地鐵"),
    
    df["totalPrice"] < 400,
]
choices = ["優(yōu)", "良", "中"]

# 默認為 “差”
df["評估"] = np.select(conditions, choices, default="差")
df.head()