pip install pandas openpyxl

import pandas as pd

# 定義Excel文件路徑
file_path = '員工信息.xlsx'

# 讀取整個Excel文件的第一個工作表
df = pd.read_excel(file_path)
print("------ 原始數(shù)據(jù)框 ------")
print(df)

# 讀取指定工作表 (如果Excel文件有多個工作表，例如：sheet_name='Sheet2')
# df_sheet2 = pd.read_excel(file_path, sheet_name='Sheet2')
# print("\n------ Sheet2 數(shù)據(jù)框 ------")
# print(df_sheet2)

# 讀取時指定某一列作為索引 (例如：員工ID作為索引)
# df_indexed = pd.read_excel(file_path, index_col='員工ID')
# print("\n------ 以員工ID為索引的數(shù)據(jù)框 ------")
# print(df_indexed)

print("\n------ 查看數(shù)據(jù)概況 ------")

# 查看前5行數(shù)據(jù) (默認值)
print("\n前5行數(shù)據(jù):")
print(df.head())

# 查看后3行數(shù)據(jù)
print("\n后3行數(shù)據(jù):")
print(df.tail(3))

# 查看數(shù)據(jù)框的維度 (行數(shù), 列數(shù))
print("\n數(shù)據(jù)框維度 (行數(shù), 列數(shù)):", df.shape)

# 查看所有列名
print("\n所有列名:", df.columns.tolist())

# 查看數(shù)據(jù)框的簡要信息，包括列名、非空值數(shù)量、數(shù)據(jù)類型和內(nèi)存占用
print("\n數(shù)據(jù)框信息:")
df.info()

# 查看數(shù)值列的描述性統(tǒng)計信息 (計數(shù)、均值、標準差、最小值、25/50/75分位數(shù)、最大值)
print("\n數(shù)值列描述性統(tǒng)計:")
print(df.describe())

# 查看所有列的描述性統(tǒng)計信息 (包括非數(shù)值列)
print("\n所有列描述性統(tǒng)計:")
print(df.describe(include='all'))

print("\n------ 選擇數(shù)據(jù) ------")

# 選擇單列：返回一個Series
print("\n選擇'姓名'列:")
print(df['姓名'])

# 選擇多列：返回一個DataFrame
print("\n選擇'姓名'和'工資'列:")
print(df[['姓名', '工資']])

# 使用.loc[]按標簽選擇行和列 (loc[行標簽, 列標簽])
# 選擇第0行到第2行 (包含) 的所有列
print("\n使用.loc[]選擇前3行:")
print(df.loc[0:2])

# 選擇'張三'和'李四'的'姓名'和'部門' (需要先將姓名設為索引)
# df_indexed_name = df.set_index('姓名')
# print("\n以姓名為索引，選擇'張三'和'李四'的'姓名'和'部門':")
# print(df_indexed_name.loc[['張三', '李四'], ['部門', '職位']])

# 使用.iloc[]按位置選擇行和列 (iloc[行位置, 列位置])
# 選擇第0行到第2行 (不包含) 的所有列
print("\n使用.iloc[]選擇前3行:")
print(df.iloc[0:3])

# 選擇第0行和第2行，以及第1列和第3列
print("\n使用.iloc[]選擇特定行和列 (0,2行；1,3列):")
print(df.iloc[[0, 2], [1, 3]]) # 對應 '姓名', '職位'

print("\n------ 數(shù)據(jù)清洗 ------")

# 檢查缺失值
print("\n各列缺失值數(shù)量:")
print(df.isnull().sum())

# 填充缺失值 (例如：職位缺失填充為'待定', 績效等級缺失填充為'D')
df_filled = df.copy() # 創(chuàng)建副本，避免修改原始DataFrame
df_filled['職位'].fillna('待定', inplace=True)
df_filled['績效等級'].fillna('D', inplace=True)
print("\n填充缺失值后的數(shù)據(jù):")
print(df_filled)

# 刪除包含缺失值的行
df_dropna_rows = df.dropna()
print("\n刪除包含缺失值的行后的數(shù)據(jù):")
print(df_dropna_rows)

# 刪除包含缺失值的列 (如果某一列的缺失值過多)
# df_dropna_cols = df.dropna(axis=1)
# print("\n刪除包含缺失值的列后的數(shù)據(jù):")
# print(df_dropna_cols)

# 檢查重復行
print("\n重復行數(shù)量:", df.duplicated().sum())

# 刪除重復行
# 為了演示，我們先創(chuàng)建一個有重復行的DataFrame
data_with_duplicates = {
    'A': [1, 2, 2, 3, 4],
    'B': ['x', 'y', 'y', 'z', 'w']
}
df_dup = pd.DataFrame(data_with_duplicates)
print("\n原始帶重復值數(shù)據(jù):\n", df_dup)
df_no_dup = df_dup.drop_duplicates()
print("\n刪除重復值后的數(shù)據(jù):\n", df_no_dup)

# 數(shù)據(jù)類型轉換 (例如：將'工資'列轉換為整數(shù)類型)
# 注意：如果列中包含非數(shù)字值，轉換會報錯，需要先處理
df_cleaned = df_filled.copy() # 使用填充過缺失值的df
df_cleaned['工資'] = df_cleaned['工資'].astype(int)
print("\n'工資'列數(shù)據(jù)類型轉換為int后的數(shù)據(jù)信息:")
df_cleaned.info()

print("\n------ 數(shù)據(jù)排序 ------")

# 按'工資'列升序排序
df_sorted_salary_asc = df_cleaned.sort_values(by='工資', ascending=True)
print("\n按'工資'升序排序:")
print(df_sorted_salary_asc)

# 按'入職日期'降序排序
df_sorted_date_desc = df_cleaned.sort_values(by='入職日期', ascending=False)
print("\n按'入職日期'降序排序:")
print(df_sorted_date_desc)

# 多列排序：先按'部門'升序，再按'工資'降序
df_sorted_multi = df_cleaned.sort_values(by=['部門', '工資'], ascending=[True, False])
print("\n按'部門'升序，'工資'降序排序:")
print(df_sorted_multi)

print("\n------ 數(shù)據(jù)篩選 ------")

# 篩選'部門'為'銷售部'的員工
sales_employees = df_cleaned[df_cleaned['部門'] == '銷售部']
print("\n'銷售部'的員工:")
print(sales_employees)

# 篩選'工資'大于等于8000的員工
high_salary_employees = df_cleaned[df_cleaned['工資'] >= 8000]
print("\n工資大于等于8000的員工:")
print(high_salary_employees)

# 多條件篩選：'部門'為'市場部' 且 '績效等級'為'A'的員工
market_a_employees = df_cleaned[(df_cleaned['部門'] == '市場部') & (df_cleaned['績效等級'] == 'A')]
print("\n'市場部'且'績效等級'為'A'的員工:")
print(market_a_employees)

# 多條件篩選：'部門'為'銷售部' 或 '部門'為'研發(fā)部'的員工
sales_or_rd_employees = df_cleaned[(df_cleaned['部門'] == '銷售部') | (df_cleaned['部門'] == '研發(fā)部')]
print("\n'銷售部'或'研發(fā)部'的員工:")
print(sales_or_rd_employees)

# 使用.isin()篩選：'部門'在列表['銷售部', '市場部']中的員工
selected_departments = df_cleaned[df_cleaned['部門'].isin(['銷售部', '市場部'])]
print("\n部門在['銷售部', '市場部']中的員工:")
print(selected_departments)

# 篩選包含特定字符串的行 (例如：職位包含'經(jīng)理')
# 注意：使用.str訪問字符串方法
manager_employees = df_cleaned[df_cleaned['職位'].str.contains('經(jīng)理', na=False)] # na=False 處理 NaN 值
print("\n職位包含'經(jīng)理'的員工:")
print(manager_employees)

print("\n------ 應用函數(shù) ------")

# 對單列應用函數(shù)：例如，計算年終獎 (假設為月工資的2倍)
df_processed = df_cleaned.copy()
df_processed['年終獎'] = df_processed['工資'] * 2
print("\n添加'年終獎'列:")
print(df_processed[['姓名', '工資', '年終獎']])

# 使用apply()對單列應用自定義函數(shù) (例如：將績效等級轉換為數(shù)值)
def convert_performance(grade):
    if grade == 'A':
        return 3
    elif grade == 'B':
        return 2
    elif grade == 'C':
        return 1
    else: # D或其他
        return 0

df_processed['績效分數(shù)'] = df_processed['績效等級'].apply(convert_performance)
print("\n添加'績效分數(shù)'列:")
print(df_processed[['姓名', '績效等級', '績效分數(shù)']])

# 使用lambda函數(shù)進行快速計算 (例如：計算稅前總收入)
df_processed['稅前總收入'] = df_processed.apply(lambda row: row['工資'] + row['年終獎'], axis=1)
print("\n添加'稅前總收入'列:")
print(df_processed[['姓名', '工資', '年終獎', '稅前總收入']])

# 對多列進行批量操作 (例如：所有數(shù)值列乘以100)
# numeric_cols = df_processed.select_dtypes(include=['int64', 'float64']).columns
# df_processed[numeric_cols] = df_processed[numeric_cols].apply(lambda x: x * 100)
# print("\n數(shù)值列乘以100后的數(shù)據(jù) (部分):")
# print(df_processed[numeric_cols].head())

print("\n------ 寫入Excel文件 ------")

output_file_path = '處理后的員工信息.xlsx'

# 將處理后的DataFrame寫入新的Excel文件
# index=False 意味著不將DataFrame的索引寫入Excel的第一列
df_processed.to_excel(output_file_path, index=False)
print(f"\n數(shù)據(jù)已成功寫入 '{output_file_path}'")

# 將多個DataFrame寫入同一個Excel文件的不同工作表
output_multi_sheet_file = '多工作表員工信息.xlsx'
with pd.ExcelWriter(output_multi_sheet_file) as writer:
    df_processed.to_excel(writer, sheet_name='所有員工', index=False)
    sales_employees.to_excel(writer, sheet_name='銷售部員工', index=False)
    high_salary_employees.to_excel(writer, sheet_name='高薪員工', index=False)
print(f"\n多個DataFrame已成功寫入 '{output_multi_sheet_file}' 的不同工作表")

# for chunk in pd.read_excel(file_path, chunksize=1000):
#     # 對每個chunk進行處理
#     print(f"處理了 {len(chunk)} 行數(shù)據(jù)")

# df_partial = pd.read_excel(file_path, usecols=['姓名', '工資', '部門'])

# df['入職日期'] = pd.to_datetime(df['入職日期'])