告別 Excel 卡死：使用 DuckDB 秒級處理超大 Excel 文件的終極指南

你是否經(jīng)歷過這樣的絕望：雙擊打開一個 500MB 的 Excel 文件，看著鼠標(biāo)光標(biāo)變成旋轉(zhuǎn)的圓圈，內(nèi)存占用飆升，最后屏幕變白顯示“未響應(yīng)”？

對于數(shù)據(jù)分析師和工程師來說，處理超大 Excel 文件（超過 100 萬行或體積巨大的 .xlsx）一直是噩夢。傳統(tǒng)的 Excel 軟件撐不住，Python 的 Pandas 庫又容易導(dǎo)致內(nèi)存溢出（OOM）。

今天，我們將介紹一位“救星”——DuckDB。它是一個運(yùn)行在進(jìn)程內(nèi)的高性能分析型數(shù)據(jù)庫，被譽(yù)為“大數(shù)據(jù)時代的 SQLite”。本文將手把手教你如何利用 DuckDB 輕松讀取、查詢和分析超大 Excel 文件。

1. 為什么選擇 DuckDB？

在開始操作之前，我們需要明白為什么 DuckDB 是處理此類問題的最佳方案：

• 零依賴安裝：不需要安裝服務(wù)器，就像 SQLite 一樣，它只是一個文件或一個庫。
• 向量化計(jì)算：DuckDB 使用列式存儲和向量化執(zhí)行引擎，速度比傳統(tǒng) Python 處理快幾十倍。
• 內(nèi)存管理：它能夠處理比內(nèi)存大得多的數(shù)據(jù)集（Out-of-core processing），不會像 Pandas 那樣因?yàn)樽x入整個文件而崩潰。
• SQL 友好：你可以直接對 Excel 文件寫 SQL 查詢，無需學(xué)習(xí)復(fù)雜的編程語法。

2. 準(zhǔn)備工作 (Prerequisites)

本教程面向完全初學(xué)者，我們將使用 Python 環(huán)境來操作 DuckDB，這是目前最流行且最便捷的方式。

2.1 環(huán)境要求

• 已安裝 Python (建議 3.7 及以上版本)
• 一個文本編輯器 (如 VS Code) 或 Jupyter Notebook

2.2 安裝 DuckDB

打開你的終端（Terminal 或 CMD），輸入以下命令安裝 DuckDB 的 Python 包：

pip install duckdb

2.3 準(zhǔn)備數(shù)據(jù)

假設(shè)你有一個名為 sales_data.xlsx 的超大 Excel 文件，里面有一個名為 Sheet1 的工作表。

3. 實(shí)戰(zhàn)教程：三步搞定超大 Excel

DuckDB 本身專注于數(shù)據(jù)分析，但要讀取 Excel 這種復(fù)雜的專有格式，我們需要借助 DuckDB 強(qiáng)大的擴(kuò)展系統(tǒng)。我們將使用官方提供的 spatial 擴(kuò)展，它內(nèi)置了讀取多種文件格式（包括 Excel）的能力。

第一步：初始化并安裝擴(kuò)展

在 Python 腳本中，我們需要先連接 DuckDB，并安裝 spatial 擴(kuò)展。

import duckdb

# 創(chuàng)建一個內(nèi)存數(shù)據(jù)庫連接
# 如果你想保存數(shù)據(jù)到硬盤，可以將 ':memory:' 替換為 'my_db.duckdb'
con = duckdb.connect(database=':memory:')

print("正在安裝 spatial 擴(kuò)展...")
# 安裝擴(kuò)展（只需運(yùn)行一次，DuckDB 會自動下載）
con.sql("INSTALL spatial;")

# 加載擴(kuò)展（每次啟動程序都需要加載）
con.sql("LOAD spatial;")
print("擴(kuò)展加載完成！")

第二步：直接查詢 Excel 文件

與 Pandas 不同，DuckDB 不需要先將數(shù)據(jù)“全部讀入”才能操作。我們可以直接把 Excel 文件當(dāng)作一張數(shù)據(jù)庫表來查詢。

這里我們使用 st_read 函數(shù)，它是 spatial 擴(kuò)展提供的萬能讀取函數(shù)。

# 定義 Excel 文件路徑
file_path = 'sales_data.xlsx'

# 編寫 SQL 查詢
# st_read 的參數(shù)：文件名，layer (對應(yīng) Excel 的 Sheet 名)
query = f"""
    SELECT * 
    FROM st_read('{file_path}', layer='Sheet1') 
    LIMIT 5;
"""

print("正在讀取前 5 行數(shù)據(jù)...")
result = con.sql(query).show()

第三步：進(jìn)行數(shù)據(jù)分析與轉(zhuǎn)換

直接讀取 Excel 雖然方便，但由于 Excel 格式本身的解析速度較慢（XML 解析開銷大），如果你需要頻繁分析這份數(shù)據(jù)，建議將其轉(zhuǎn)換為 DuckDB 的內(nèi)部表或 Parquet 格式。

場景 A：將 Excel 數(shù)據(jù)轉(zhuǎn)存為 DuckDB 表（推薦）

# 創(chuàng)建一個新表 'sales'，并將 Excel 數(shù)據(jù)全部導(dǎo)入
# 這一步可能會花一點(diǎn)時間，取決于 Excel 的大小，但后續(xù)查詢會通過 DuckDB 引擎秒級響應(yīng)
con.sql(f"""
    CREATE TABLE sales AS 
    SELECT * 
    FROM st_read('{file_path}', layer='Sheet1');
""")

# 現(xiàn)在可以飛快地進(jìn)行聚合查詢了
# 例如：計(jì)算總銷售額
con.sql("SELECT SUM(amount) FROM sales").show()

場景 B：將 Excel 轉(zhuǎn)換為 Parquet (高性能文件格式)

# 直接將 Excel 轉(zhuǎn)換并導(dǎo)出為 Parquet 文件
con.sql(f"""
    COPY (
        SELECT * FROM st_read('{file_path}', layer='Sheet1')
    ) TO 'sales_data.parquet' (FORMAT 'PARQUET');
""")

4. 常見坑點(diǎn)與解決方案 (Common Pitfalls)

在使用 DuckDB 處理 Excel 時，初學(xué)者可能會遇到以下問題：

4.1 忘記安裝或加載擴(kuò)展

錯誤現(xiàn)象：報(bào)錯提示 Scalar Function with name st_read does not exist!。
解決：確保代碼中執(zhí)行了 INSTALL spatial; 和 LOAD spatial;。

4.2 Sheet 名稱不匹配

錯誤現(xiàn)象：報(bào)錯提示找不到 layer。
解決：st_read 函數(shù)中的 layer 參數(shù)必須嚴(yán)格對應(yīng) Excel 左下角的工作表名稱（默認(rèn)為 Sheet1，但也可能是 Data、Report 等）。

4.3 內(nèi)存依然飆升？

原因：雖然 DuckDB 內(nèi)存管理很好，但 Excel (.xlsx) 本質(zhì)上是一堆 XML 壓縮包，解析過程非常消耗 CPU 和內(nèi)存。
解決：

1. 如果文件大到連 DuckDB 的 st_read 都處理吃力，建議先用 CSV 格式。
2. 確保不要使用 con.sql(...).df() 將結(jié)果一次性轉(zhuǎn)為 Pandas DataFrame，這會破功。盡量在 SQL 層面完成聚合（Sum, Count, Avg），只導(dǎo)出結(jié)果。

4.4 混合數(shù)據(jù)類型

現(xiàn)象：Excel某一列中既有數(shù)字又有文字。
解決：DuckDB 會嘗試自動推斷類型。如果推斷失敗，可以在 SQL 中使用 CAST 函數(shù)強(qiáng)制轉(zhuǎn)換，或者在讀取后進(jìn)行清洗。

5. 總結(jié)與下一步

通過本文，你已經(jīng)掌握了使用 DuckDB 讀取超大 Excel 文件的核心技巧：

1. DuckDB + Spatial 擴(kuò)展 是讀取 Excel 的關(guān)鍵。
2. st_read 函數(shù) 允許你像操作數(shù)據(jù)庫表一樣操作 Excel 文件。
3. 轉(zhuǎn)換格式（如轉(zhuǎn)為 Table 或 Parquet）可以獲得極致的查詢性能。

下一步建議：
嘗試將你手頭最大的 Excel 文件通過 DuckDB 轉(zhuǎn)換為 Parquet 格式。你會發(fā)現(xiàn)，原本幾百 MB 的文件體積會縮小，且讀取速度將從“分鐘級”變?yōu)?ldquo;毫秒級”。

以上就是Python使用DuckDB秒級處理超大Excel文件的終極指南的詳細(xì)內(nèi)容，更多關(guān)于Python DuckDB處理超大Excel的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論