快捷導(dǎo)航

pandas讀取文件夾下所有excel文件的實現(xiàn)

更新時間：2023年09月12日 11:22:21 作者：舞劍弄清影

最近需要做一個需求,要求匯總一個文件夾所有的excel文件,所以本文就來介紹一下pandas讀取文件夾下所有excel文件的實現(xiàn),具有一定的參考價值,感興趣的可以了解一下

import os
main_folder = '文件夾路徑'
all_data = []
for root, dirs, files in os.walk(main_folder):
    for file in files:
        if file.endswith(".xlsx"):  # 只處理Excel文件，可以根據(jù)需要修改擴展名
            file_path = os.path.join(root, file)
            df = pd.read_excel(file_path, skiprows=2)  # 跳過前兩行無用數(shù)據(jù)
            all_data.append(df)
        elif file.endswith(".xls"):
            file_path = os.path.join(root, file)
            df = pd.read_excel(file_path, skiprows=2, engine='xlrd')
            all_data.append(df)

然后是合并數(shù)據(jù)：使用pandas的concat函數(shù)將所有數(shù)據(jù)幀合并為一個總的數(shù)據(jù)幀，并處理不同表頭的情況。假設(shè)表頭位于第一行。

combined_df = pd.concat(all_data, ignore_index=True)
# 處理不同表頭的情況
combined_df = combined_df.fillna('')  # 將NaN值填充為空字符串

最后呢，保存總表：將合并后的數(shù)據(jù)保存到一個新的Excel文件

 combined_df.to_excel('保存的excel文件路徑', index=False)

出現(xiàn)的問題

上圖錯誤，我用斷點調(diào)試去看數(shù)據(jù)，發(fā)現(xiàn)里面出現(xiàn)了一個錯誤的文件路徑。是以~$ 開頭的一個excel文件。但是真實環(huán)境中是沒有這個excel文件，去查了一下資料如下解釋：在Windows系統(tǒng)中，當(dāng)一個Excel文件（.xlsx 或 .xls）正在被某個用戶編輯時，Excel會創(chuàng)建一個臨時文件，文件名以 ~$ 開頭，然后是原始文件的名稱。這個臨時文件用于跟蹤編輯進程，以防止多個用戶同時編輯相同的文件時發(fā)生沖突。

所以在os.walk遍歷文件夾時，它會包括所有文件，包括這些臨時文件。這些臨時文件通常不應(yīng)被處理或讀取，因為它們是Excel編輯過程中的中間文件。