1. 數據清洗的意義和作用

數據清洗指的是將爬取到的數據轉換為結構化、準確且一致的格式，去除無效數據、處理缺失值、規(guī)范化格式、解析數據等。無論是進一步的分析、模型訓練還是數據庫存儲，清洗后的數據都將更加高效和精準。

爬蟲獲取的數據常見問題：

• 數據缺失：某些字段可能為空或格式不一致。
• 噪音數據：可能包含廣告、注釋等無用信息。
• 格式不規(guī)范：如日期格式、文本的編碼、大小寫不一致等。

在本文中，我們將使用一些示例代碼展示如何進行數據清洗和存儲。

2. 常用的數據清洗庫

Python 提供了多種庫用于數據清洗，其中最常用的有：

• Pandas：提供了靈活的數據操作功能，可用于數據的清洗、轉換和處理。
• re（正則表達式庫）：用于字符串模式匹配和數據清理。
• BeautifulSoup：用于解析 HTML，清洗網頁數據。
• NumPy：用于處理數值數據，補齊缺失值等。

安裝 Pandas 和 BeautifulSoup：

pip install pandas beautifulsoup4

3. 示例數據集

假設我們爬取了一個電商網站的商品信息，數據如下：

可以看到，爬取的數據包含以下問題：

• 某些價格和評論數缺失。
• 日期格式不一致。
• 某些價格字段格式不正確。
• “價格缺失”和“評論缺失”這樣的非標準信息，需要轉化為缺失值。

我們將基于這個數據集來演示清洗步驟。

4. 數據清洗步驟

4.1 將數據載入 Pandas DataFrame

將數據轉換為 Pandas 的 DataFrame 格式，便于操作。

import pandas as pd

# 創(chuàng)建示例數據
data = {
    '商品名稱': ['Apple iPhone 12', 'Samsung Galaxy S21', 'Xiaomi Mi 11', 'Sony Xperia 5', 'OPPO Find X3'],
    '價格': ['$999', '價格缺失', '$699', '$799', '價格錯誤'],
    '評論數': [200, 150, '評論缺失', 100, 50],
    '上架日期': ['2023年1月1日', '無', '2023年3月5日', '2023/05/10', '2022-12-01']
}
df = pd.DataFrame(data)
print(df)

輸出為：

           商品名稱      價格   評論數        上架日期
0  Apple iPhone 12     $999     200     2023年1月1日
1 Samsung Galaxy S21 價格缺失     150            無
2    Xiaomi Mi 11     $699 評論缺失     2023年3月5日
3      Sony Xperia 5   $799     100   2023/05/10
4        OPPO Find X3 價格錯誤     50    2022-12-01

4.2 處理缺失值

缺失值可以通過刪除行或填充方式處理。先將“價格缺失”和“評論缺失”字段轉化為 Pandas 可識別的缺失值（NaN）。

import numpy as np

# 將“價格缺失”、“評論缺失”轉化為 NaN
df['價格'] = df['價格'].replace(['價格缺失', '價格錯誤'], np.nan)
df['評論數'] = df['評論數'].replace('評論缺失', np.nan)

print(df)

4.3 清洗價格字段

價格字段中包含 $ 符號，并且類型為字符串。我們可以去除符號并將其轉換為數值類型，以便后續(xù)分析。

# 去除 $ 符號并轉換為浮點數
df['價格'] = df['價格'].str.replace('$', '').astype(float)
print(df)

4.4 處理日期格式

上架日期包含多種格式?？梢允褂?nbsp;pd.to_datetime 函數進行格式統(tǒng)一化。

# 統(tǒng)一上架日期格式
df['上架日期'] = pd.to_datetime(df['上架日期'], errors='coerce')
print(df)

在這里，我們使用 errors='coerce' 選項來處理格式不正確的日期，例如“無”，會將其轉換為缺失值。

4.5 填充缺失值

我們可以根據需求填充缺失值，例如將價格的缺失值替換為均值，或填入特定值。

# 用平均價格填充缺失值
df['價格'].fillna(df['價格'].mean(), inplace=True)

# 填充評論數為 0
df['評論數'].fillna(0, inplace=True)

print(df)

5. 數據存儲

完成清洗后，數據可以存儲到不同的文件格式中，方便后續(xù)分析和使用。常見的數據存儲格式包括 CSV、Excel、SQL 數據庫和 JSON。

5.1 保存為 CSV 文件

CSV 文件是數據存儲的常用格式，適合小規(guī)模數據。

df.to_csv('cleaned_data.csv', index=False)

5.2 保存為 Excel 文件

如果數據需要進一步操作或供人查看，Excel 格式是不錯的選擇。

df.to_excel('cleaned_data.xlsx', index=False)

5.3 保存到 SQL 數據庫

SQL 數據庫更適合大規(guī)模數據，可以使用 SQLite、MySQL 等。以下是使用 SQLite 存儲數據的示例：

import sqlite3

# 連接 SQLite 數據庫（若文件不存在會自動創(chuàng)建）
conn = sqlite3.connect('products.db')
df.to_sql('products', conn, if_exists='replace', index=False)
conn.close()

5.4 保存為 JSON 文件

JSON 文件常用于數據傳輸和存儲，適合嵌套結構的數據。

df.to_json('cleaned_data.json', orient='records', force_ascii=False)

6. 數據清洗與存儲的最佳實踐

• 格式統(tǒng)一：盡可能統(tǒng)一字段的格式，方便后續(xù)的處理和存儲。
• 處理缺失值：根據具體需求選擇合適的填充策略。
• 保留原始數據：清洗過程中可保留一份原始數據副本，便于溯源。
• 數據量的選擇：小規(guī)模數據可以存儲為 CSV 或 Excel，大規(guī)模數據推薦存儲到數據庫。
• 數據驗證：清洗和存儲后，檢查數據的正確性，如統(tǒng)計均值、查看格式是否符合預期。

7. 小結

本文介紹了 Python 爬蟲數據的清洗與存儲方法，從處理缺失值、統(tǒng)一格式、清洗價格和日期等方面入手，并展示了如何將清洗后的數據保存為多種格式。通過掌握這些數據清洗和存儲技巧，可以大幅提升爬蟲數據的質量和可用性。

到此這篇關于使用Python進行數據清洗與存儲的基本方法的文章就介紹到這了,更多相關Python數據清洗與存儲內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論