快捷導(dǎo)航

python按列索引提取文件夾內(nèi)所有excel指定列匯總(示例代碼)

更新時(shí)間：2022年03月25日 10:57:03 作者：用余生去守護(hù)

這篇文章主要介紹了python按列索引提取文件夾內(nèi)所有excel指定列匯總,本文通過多種場(chǎng)景分析結(jié)合示例代碼給大家介紹的非常詳細(xì)，需要的朋友可以參考下

前言

一、情景描述

情景一：
文件夾內(nèi)有很多excel數(shù)據(jù)，包含的數(shù)據(jù)格式一樣，我們需要提取每個(gè)文件中指定的幾列數(shù)據(jù)匯總到一個(gè)文件中(因?yàn)槭前戳兴饕崛?，所以列的順序可以不一?

匯總后：

二、python匯總

注意事項(xiàng)：

文件所在文件夾內(nèi)只能有運(yùn)行文件.py，和需要匯總的文件，不能有其它文件夾，否則會(huì)出現(xiàn)運(yùn)行錯(cuò)誤；
運(yùn)行第二遍時(shí)需要將第一遍運(yùn)行得到的結(jié)果文件res.xlsx刪除，否則也會(huì)出現(xiàn)運(yùn)行錯(cuò)誤；

代碼如下（示例）：

# -*- coding:utf-8 –*- 
import os
import pandas as pd
 
# 輸入?yún)?shù)為excel表格所在目錄
def to_one_excel(dir):
    dfs = []
    # 遍歷文件目錄，將所有表格表示為pandas中的DataFrame對(duì)象
    # for root_dir, sub_dir, files in os.walk(r'' + dir):     # 第一個(gè)為起始路徑，第二個(gè)為起始路徑下的文件夾，第三個(gè)是起始路徑下的文件。
    for root_dir, sub_dir, files in os.walk(dir):     # 第一個(gè)為起始路徑，第二個(gè)為起始路徑下的文件夾，第三個(gè)是起始路徑下的文件。
        for file in files:
            if file.endswith('xlsx'):
                # 構(gòu)造絕對(duì)路徑
                file_name = os.path.join(root_dir, file)
                # df = pd.read_excel(file_name)
                df_1 = list(pd.read_excel(file_name, nrows=1))  # 讀取excel第一行數(shù)據(jù)并放進(jìn)列表
                # excel第一行數(shù)據(jù)返回列表
                print(file_name)
                print(type(df_1))
                print(df_1)
                # 根據(jù)第一行列名獲取每個(gè)文件中需要列的列索引，返回索引數(shù)值
                suo_yin_1 = df_1.index("人員")
                suo_yin_2 = df_1.index("效率")
                suo_yin_3 = df_1.index("成績(jī)")
                suo_yin_4 = df_1.index("產(chǎn)量")
                suo_yin_5 = df_1.index("節(jié)點(diǎn)")
                suo_yin_6 = df_1.index("備注")
                # 讀取文件內(nèi)容  usecols=[1, 3, 4] 讀取第1,3,4列
                df = pd.read_excel(file_name, usecols=[suo_yin_1, suo_yin_2, suo_yin_3, suo_yin_4, suo_yin_5, suo_yin_6], sheet_name='data')
                
                # pf = pd.read_excel('xxx.xls', usecols=[1, 3, 4], sheet_name='data')
                # print(pf)
                # 追加一列數(shù)據(jù)，將每個(gè)文件的名字追加進(jìn)該文件的數(shù)據(jù)中，確定每條數(shù)據(jù)屬于哪個(gè)文件
                excel_name = file.replace(".xlsx", "")      # 提取每個(gè)excel文件的名稱，去掉.xlsx后綴
                df["文件名"] = excel_name       # 新建列名為“文件名”，列數(shù)據(jù)為excel文件名
                dfs.append(df)      # 將新建文件名列追加進(jìn)匯總excel中
    # 行合并
    df_concated = pd.concat(dfs)
    # 構(gòu)造輸出目錄的絕對(duì)路徑
    out_path = os.path.join(dir, 'res.xlsx')
    # 輸出到excel表格中，并刪除pandas默認(rèn)的index列
    df_concated.to_excel(out_path, sheet_name='Sheet1', index=None)
# 調(diào)用并執(zhí)行函數(shù)
to_one_excel(r'E:\py\python3.7\test\test96')