引言

今天為大家分享一個(gè)非常好用的 Python 庫(kù) - pandera。

Github地址：

https://github.com/unionai-oss/pandera

在數(shù)據(jù)科學(xué)和數(shù)據(jù)分析中，數(shù)據(jù)的質(zhì)量至關(guān)重要。不良的數(shù)據(jù)質(zhì)量可能導(dǎo)致不準(zhǔn)確的分析和決策。為了確保數(shù)據(jù)的質(zhì)量，Python Pandera 庫(kù)應(yīng)運(yùn)而生。

什么是 Python Pandera？

Python Pandera 是一個(gè)用于數(shù)據(jù)驗(yàn)證和清洗的庫(kù)，它的目標(biāo)是幫助數(shù)據(jù)科學(xué)家和分析師確保數(shù)據(jù)的質(zhì)量，并使數(shù)據(jù)準(zhǔn)備過(guò)程更加可維護(hù)和可重復(fù)。Pandera 提供了一種聲明性的方式來(lái)定義數(shù)據(jù)的驗(yàn)證規(guī)則，可以輕松地將這些規(guī)則應(yīng)用于數(shù)據(jù)集，以識(shí)別和糾正不良數(shù)據(jù)。

Pandera 的設(shè)計(jì)理念是將數(shù)據(jù)驗(yàn)證和清洗與數(shù)據(jù)分析代碼分離，從而降低了錯(cuò)誤的風(fēng)險(xiǎn)，并提高了代碼的可讀性和可維護(hù)性。

安裝 Python Pandera

要開(kāi)始使用 Python Pandera，需要在 Python 環(huán)境中安裝它?？梢允褂?pip 包管理器來(lái)安裝 Pandera。

在終端或命令提示符中運(yùn)行以下命令：

pip install pandera

安裝完成后，可以在 Python 代碼中導(dǎo)入 Pandera 并開(kāi)始使用它。

import pandera as pa

基本用法示例

通過(guò)一個(gè)簡(jiǎn)單的示例來(lái)了解 Python Pandera 的基本用法。

假設(shè)有一個(gè)包含學(xué)生信息的數(shù)據(jù)集，希望驗(yàn)證數(shù)據(jù)是否滿足以下規(guī)則：

• 學(xué)生年齡必須介于 18 到 30 歲之間。

• 學(xué)生成績(jī)必須是 0 到 100 之間的整數(shù)。

定義數(shù)據(jù)驗(yàn)證規(guī)則

首先，需要定義數(shù)據(jù)驗(yàn)證規(guī)則。在 Pandera 中，可以使用 Schema 對(duì)象來(lái)定義規(guī)則。

以下是如何定義上述規(guī)則的代碼：

# 導(dǎo)入 Pandera 庫(kù)
import pandera as pa
# 定義數(shù)據(jù)驗(yàn)證規(guī)則
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Int, checks=[
        pa.Check(lambda age: 18 <= age <= 30, element_wise=True)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True)
    ])
})

在上述代碼中，使用 pa.Column 來(lái)定義每列的數(shù)據(jù)類(lèi)型，并使用 pa.Check 來(lái)定義數(shù)據(jù)驗(yàn)證規(guī)則。這些規(guī)則是通過(guò) lambda 函數(shù)來(lái)定義的，用于檢查每個(gè)元素是否符合規(guī)則。

應(yīng)用數(shù)據(jù)驗(yàn)證規(guī)則

一旦定義了數(shù)據(jù)驗(yàn)證規(guī)則，可以將其應(yīng)用于數(shù)據(jù)集以驗(yàn)證數(shù)據(jù)的質(zhì)量。

# 創(chuàng)建包含學(xué)生信息的數(shù)據(jù)集
data = {
    "age": [25, 19, 32, 28, 22],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)
# 應(yīng)用數(shù)據(jù)驗(yàn)證規(guī)則
schema.validate(df)

在上述代碼中，首先創(chuàng)建了包含學(xué)生信息的 DataFrame，然后使用 schema.validate 方法來(lái)驗(yàn)證數(shù)據(jù)是否符合規(guī)則。如果數(shù)據(jù)不符合規(guī)則，Pandera 將引發(fā)異常并指出哪些數(shù)據(jù)不合格。

進(jìn)階用法示例

除了基本用法外，Python Pandera 還提供了一些進(jìn)階功能，以滿足更復(fù)雜的數(shù)據(jù)驗(yàn)證和清洗需求。

1. 數(shù)據(jù)類(lèi)型轉(zhuǎn)換

有時(shí)候，可能需要將數(shù)據(jù)從一種類(lèi)型轉(zhuǎn)換為另一種類(lèi)型，以滿足驗(yàn)證規(guī)則。Pandera 可以定義數(shù)據(jù)類(lèi)型轉(zhuǎn)換函數(shù)并將其應(yīng)用于數(shù)據(jù)。

# 定義數(shù)據(jù)類(lèi)型轉(zhuǎn)換函數(shù)
def convert_age_to_float(age):
    return float(age)

# 定義數(shù)據(jù)驗(yàn)證規(guī)則
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Float, checks=[
        pa.Check(lambda age: 18.0 <= age <= 30.0, element_wise=True)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True)
    ])
})

# 創(chuàng)建包含學(xué)生信息的數(shù)據(jù)集
data = {
    "age": ["25", "19", "32", "28", "22"],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)

# 應(yīng)用數(shù)據(jù)驗(yàn)證規(guī)則
schema.validate(df, convert_dtype=True)

在上述代碼中，首先定義了一個(gè)數(shù)據(jù)類(lèi)型轉(zhuǎn)換函數(shù) convert_age_to_float，然后在驗(yàn)證規(guī)則中將年齡列的數(shù)據(jù)類(lèi)型設(shè)置為浮點(diǎn)型。通過(guò)設(shè)置 convert_dtype=True，告訴 Pandera 在驗(yàn)證之前將數(shù)據(jù)類(lèi)型轉(zhuǎn)換為指定的類(lèi)型。

2. 自定義錯(cuò)誤消息

還可以自定義錯(cuò)誤消息，以便更清晰地指出哪些數(shù)據(jù)不符合規(guī)則。

# 定義自定義錯(cuò)誤消息函數(shù)
def custom_error_message(check, series):
    return f"Validation failed for column '{series.name}': {check.get_error_description(series)}"
# 定義數(shù)據(jù)驗(yàn)證規(guī)則
schema = pa.DataFrameSchema({
    "age": pa.Column(pa.Float, checks=[
        pa.Check(lambda age: 18.0 <= age <= 30.0, element_wise=True, error=custom_error_message)
    ]),
    "score": pa.Column(pa.Int, checks=[
        pa.Check(lambda score: 0 <= score <= 100, element_wise=True, error=custom_error_message)
    ])
})
# 創(chuàng)建包含學(xué)生信息的數(shù)據(jù)集
data = {
    "age": ["25", "19", "32", "28", "22"],
    "score": [90, 75, 110, 88, 95]
}
df = pa.DataFrame(data)
# 應(yīng)用數(shù)據(jù)驗(yàn)證規(guī)則
try:
    schema.validate(df, convert_dtype=True)
except pa.errors.SchemaErrors as e:
    for error in e.schema_errors:
        print(error)

在上述代碼中，定義了一個(gè)自定義錯(cuò)誤消息函數(shù) custom_error_message，然后將其應(yīng)用于數(shù)據(jù)驗(yàn)證規(guī)則中的錯(cuò)誤消息。當(dāng)數(shù)據(jù)不符合規(guī)則時(shí)，Pandera 將顯示自定義錯(cuò)誤消息。

總結(jié)

Python Pandera 是一個(gè)強(qiáng)大的工具，用于數(shù)據(jù)驗(yàn)證和清洗。它提供了一種聲明性的方式來(lái)定義數(shù)據(jù)驗(yàn)證規(guī)則，使數(shù)據(jù)質(zhì)量的管理變得更加輕松。通過(guò)本文提供的示例代碼，可以開(kāi)始使用 Pandera 來(lái)提高數(shù)據(jù)質(zhì)量，確保數(shù)據(jù)分析的準(zhǔn)確性。希望本文對(duì)大家有所幫助，可以更好地利用 Pandera 進(jìn)行數(shù)據(jù)驗(yàn)證和清洗工作。

以上就是Python pandera數(shù)據(jù)質(zhì)量保障的詳細(xì)內(nèi)容，更多關(guān)于Python pandera的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

以上就是Python pandera數(shù)據(jù)驗(yàn)證和清洗的庫(kù)的詳細(xì)內(nèi)容，更多關(guān)于Python pandera的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！

最新評(píng)論