pandas實(shí)現(xiàn)to_sql將DataFrame保存到數(shù)據(jù)庫中
目的
在數(shù)據(jù)分析時(shí)，我們有中間結(jié)果，或者最終的結(jié)果，需要保存到數(shù)據(jù)庫中；或者我們有一個(gè)中間的結(jié)果，如果放到數(shù)據(jù)庫中通過sql操作會更加的直觀，處理后再將結(jié)果讀取到DataFrame中。這兩個(gè)場景，就需要用到DataFrame的to_sql操作。
具體的操作
連接數(shù)據(jù)庫代碼
import pandas as pd
from sqlalchemy import create_engine
# default
engine = create_engine('mysql+pymysql://ledao:ledao123@localhost/pandas_learn')
original_data = pd.read_sql_table('cellfee', engine)
original_data
結(jié)果如下所示。
對數(shù)據(jù)進(jìn)行匯總，每個(gè)小區(qū)的電費(fèi)進(jìn)行求和放到Series中，然后將所有小區(qū)的總電費(fèi)放到DataFrame中，最后將DataFrame保存到數(shù)據(jù)庫中，代碼如下所示。
all_cells = [] for k, v in original_data.groupby(by=['cityid', 'cellid']): onecell = pd.Series(data=[k[0], k[1], v['fee'].sum()], index=['cityid', 'cellid', 'fee_sum']) all_cells.append(onecell) all_cells = pd.DataFrame(all_cells) all_cells.to_sql(name='cells_fee', con=engine, chunksize=1000, if_exists='replace', index=None)
對于DataFrame的to_sql函數(shù)，需要注意的參數(shù)在代碼中已經(jīng)寫出來，其中比較重要的是chunksize、if_exists和index。
chunksize可以設(shè)置一次入庫的大??；if_exists設(shè)置如果數(shù)據(jù)庫中存在同名表怎么辦，‘replace'表示將表原來數(shù)據(jù)刪除放入當(dāng)前數(shù)據(jù)；‘a(chǎn)ppend'表示追加；‘fail'則表示將拋出異常，結(jié)束操作，默認(rèn)是‘fail'；index=接受boolean值，表示是否將DataFrame的index也作為表的列存儲。
最終存表的結(jié)果如下圖所示。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
本文介紹了如何在Python中引入和使用瀏覽器驅(qū)動,主要步驟包括安裝Selenium庫、下載并配置瀏覽器驅(qū)動路徑、編寫Python代碼啟動瀏覽器以及結(jié)束操作后關(guān)閉瀏覽器2025-01-01
使用C#配合ArcGIS Engine進(jìn)行地理信息系統(tǒng)開發(fā)
這篇文章主要介紹了使用C#配合ArcGIS Engine進(jìn)行地理信息系統(tǒng)開發(fā),ArcGIS Engine是Windows系統(tǒng)上可以讓程序員創(chuàng)建自定義的GIS桌面程序,需要的朋友可以參考下2016-02-02
Python實(shí)現(xiàn)OpenCV的安裝與使用示例
這篇文章主要介紹了Python實(shí)現(xiàn)OpenCV的安裝與使用,結(jié)合實(shí)例形式分析了Python中OpenCV的安裝及針對圖片的相關(guān)操作技巧,需要的朋友可以參考下2018-03-03
python 解壓、復(fù)制、刪除 文件的實(shí)例代碼
這篇文章主要介紹了python 解壓、復(fù)制、刪除 文件的實(shí)例代碼,代碼簡單易懂非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-02-02
Python實(shí)現(xiàn)將圖像轉(zhuǎn)換為ASCII字符圖
使用Python進(jìn)行圖像處理，非?？旖莘奖悖喍處仔写a就可以實(shí)現(xiàn)功能強(qiáng)大的效果。在這篇文章中，我們將使用Python將圖像轉(zhuǎn)換為ASCII字符照，感興趣的可以了解一下2022-08-08
python實(shí)現(xiàn)基于樸素貝葉斯的垃圾分類算法
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)基于樸素貝葉斯的垃圾分類算法，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-07-07
Django中select_related和prefetch_related的用法與區(qū)別詳解
在實(shí)際的開發(fā)中,模型之間經(jīng)常存在復(fù)雜的關(guān)聯(lián)關(guān)系,下面這篇文章主要給大家介紹了關(guān)于Django中select_related和prefetch_related的用法與區(qū)別的相關(guān)資料,需要的朋友可以參考下2022-11-11
簡單的博客文章爬蟲，比較通用，因?yàn)榇蟛糠值木W(wǎng)站結(jié)構(gòu)都差不多,需要的朋友可以參考下2014-02-02
大家好，本篇文章主要講的是Python OpenCV對圖像像素進(jìn)行操作，感興趣的同學(xué)趕快來看一看吧，對你有幫助的話記得收藏一下，方便下次瀏覽2022-01-01
今天小編就為大家分享一篇python 定義n個(gè)變量方法 (變量聲明自動化)，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-11-11