腳本之家服務器常用軟件

快捷導航

Python實現(xiàn)數(shù)據(jù)清洗的18種方法

更新時間：2025年01月18日 10:12:05 作者：懶大王愛吃狼

本文主要介紹了Python實現(xiàn)數(shù)據(jù)清洗的18種方法,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧

數(shù)據(jù)清洗可能是你們遇到的第一個大挑戰(zhàn)，但別擔心，Python的魔力在于能用簡潔的代碼解決復雜問題。今天，我們就來學習如何用一行代碼完成數(shù)據(jù)清洗的十八個小絕招。準備好，讓我們一起化繁為簡，成為數(shù)據(jù)清洗的高手！

1. 去除字符串兩邊空格

data = "   Hello World!   "  
cleaned_data = data.strip()  # 神奇的一行，左右空格拜拜

解讀：strip()方法去掉字符串首尾的空白字符，簡單高效。

2. 轉(zhuǎn)換數(shù)據(jù)類型

num_str = "123"  
num_int = int(num_str)  # 字符串轉(zhuǎn)整數(shù)，就是這么直接

注意：轉(zhuǎn)換時要確保數(shù)據(jù)格式正確，否則會報錯。

3. 大小寫轉(zhuǎn)換

text = "Python is Awesome"  
lower_text = text.lower()  # 全部變小寫，便于統(tǒng)一處理  
upper_text = text.upper()  # 或者全部大寫，隨你心情

4. 移除列表中的重復元素

my_list = [1, 2, 2, 3, 4, 4]  
unique_list = list(set(my_list))  # 集合特性，去重無壓力

小貼士：這招雖好，但改變了原列表順序哦。

5. 快速統(tǒng)計元素出現(xiàn)次數(shù)

from collections import Counter  
data = ['apple', 'banana', 'apple', 'orange']  
counts = dict(Counter(data))  # 想要知道誰最受歡迎？

解讀：Counter是統(tǒng)計神器，輕松獲取頻率。

6. 字符串分割成列表

sentence = "Hello world"  
words = sentence.split(" ")  # 分割符默認為空格，一句話變單詞列表

7. 列表合并

list1 = [1, 2, 3]  
list2 = [4, 5, 6]  
merged_list = list1 + list2  # 合并列表，就這么簡單

8. 數(shù)據(jù)填充

my_list = [1, 2]  
filled_list = my_list * 3  # 重復三次，快速填充列表

9. 提取日期時間

from datetime import datetime  
date_str = "2023-04-01"  
date_obj = datetime.strptime(date_str, "%Y-%m-%d")  # 日期字符串變對象

關鍵點：%Y-%m-%d是日期格式，按需調(diào)整。

10. 字符串替換

old_string = "Python is fun."  
new_string = old_string.replace("fun", "awesome")  # 改頭換面，一言既出

11. 快速排序

numbers = [5, 2, 9, 1, 5]  
sorted_numbers = sorted(numbers)  # 自然排序，升序默認

進階：reverse=True可降序排列。

12. 提取數(shù)字

mixed_str = "The year is 2023"  
nums = ''.join(filter(str.isdigit, mixed_str))  # 只留下數(shù)字，其余走開

解密：filter函數(shù)配合isdigit，只保留數(shù)字字符。

13. 空值處理（假設是列表）

data_list = [None, 1, 2, None, 3]  
filtered_list = [x for x in data_list if x is not None]  # 拒絕空值，干凈利落

語法糖：列表推導式，簡潔優(yōu)雅。

14. 字典鍵值對互換

my_dict = {"key1": "value1", "key2": "value2"}  
swapped_dict = {v: k for k, v in my_dict.items()}  # 翻轉(zhuǎn)乾坤，鍵變值，值變鍵

15. 平均值計算

numbers = [10, 20, 30, 40]  
average = sum(numbers) / len(numbers)  # 平均數(shù)，一步到位

16. 字符串分組

s = "abcdef"  
grouped = [s[i:i+2] for i in range(0, len(s), 2)]  # 每兩個一組，分割有道

應用：適用于任何需要分組的場景。

17. 數(shù)據(jù)標準化

import numpy as np  
data = np.array([1, 2, 3])  
normalized_data = (data - data.mean()) / data.std()  # 數(shù)學之美，標準分布

背景：數(shù)據(jù)分析必備，讓數(shù)據(jù)符合標準正態(tài)分布。

18. 數(shù)據(jù)過濾（基于條件）

data = [1, 2, 3, 4, 5]  
even_numbers = [x for x in data if x % 2 == 0]  # 只留偶數(shù)，排除異己

技巧：列表推導結(jié)合條件判斷，高效篩選。

進階實踐與技巧

既然你已經(jīng)掌握了基礎的十八種方法，接下來讓我們深入一些，探討如何將這些技巧結(jié)合起來，解決更復雜的數(shù)據(jù)清洗問題，并分享一些實戰(zhàn)中的小技巧。

1. 復雜字符串處理：正則表達式

正則表達式是數(shù)據(jù)清洗中不可或缺的工具，雖然嚴格來說可能超過一行，但它能高效地處理模式匹配和替換。

import re  
text = "Email: example@email.com Phone: 123-456-7890"  
emails = re.findall(r'\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Z|a-z]{2,}\b', text)  
phones = re.findall(r'\b\d{3}-\d{3}-\d{4}\b', text)

這段代碼分別提取了文本中的電子郵件和電話號碼，展示了正則表達式的強大。

2. Pandas庫的魔法

對于數(shù)據(jù)分析和清洗，Pandas是不二之選。雖然Pandas的命令通常不止一行，但其高效性和簡潔性值得學習。

import pandas as pd  
df = pd.read_csv('data.csv')  
# 刪除含有缺失值的行  
df_clean = df.dropna()  
# 替換特定值  
df['column_name'] = df['column_name'].replace('old_value', 'new_value')

注意：Pandas雖然強大，但對于初學者可能需要更多時間來熟悉。

3. 錯誤處理和日志記錄

在處理大量數(shù)據(jù)時，錯誤幾乎是不可避免的。學會用try-except結(jié)構(gòu)捕獲異常，并使用logging記錄日志，可以大大提升調(diào)試效率。

import logging  
logging.basicConfig(level=logging.INFO)  
try:  
    result = some_function_that_might_fail()  
    logging.info(f"成功執(zhí)行！結(jié)果：{result}")  
except Exception as e:  
    logging.error(f"執(zhí)行失敗：{e}")

這樣，即使出現(xiàn)問題，也能迅速定位。

4. 批量操作與函數(shù)封裝

將常用的數(shù)據(jù)清洗步驟封裝成函數(shù)，可以大大提高代碼的復用性和可讀性。

def clean_phone(phone):  
    """移除電話號碼中的非數(shù)字字符"""  
    return ''.join(c for c in phone if c.isdigit())  
  
phone_numbers = ['123-456-7890', '(555) 555-5555']  
cleaned_numbers = [clean_phone(phone) for phone in phone_numbers]

通過定義clean_phone函數(shù)，我們可以輕松地清理一批電話號碼。