快捷導(dǎo)航

python把數(shù)據(jù)框?qū)懭隡ySQL的方法

更新時(shí)間：2022年03月07日 09:29:59 作者：帥帥de三叔

這篇文章主要介紹了如何讓python把數(shù)據(jù)框?qū)懭隡ySQL,下文利用上海市2016年9月1日公共交通卡刷卡數(shù)據(jù)的一份數(shù)據(jù)單展開(kāi)其方法，需要的小伙伴可以參考一下

背景：

下文利用上海市2016年9月1日公共交通卡刷卡數(shù)據(jù)

如圖：

想做一下上海市通勤數(shù)據(jù)挖掘，由于源文件有800多兆，用python讀取起來(lái)很慢很卡，于是想導(dǎo)入數(shù)據(jù)庫(kù)MySQL里面處理，以前一般是打開(kāi)workbench可視化操作導(dǎo)入數(shù)據(jù)庫(kù)，這次想換成代碼實(shí)現(xiàn)，于是琢磨著如何把這個(gè)csv文件用python導(dǎo)進(jìn)去。
一般的，python把數(shù)據(jù)框?qū)懭霐?shù)據(jù)庫(kù)有兩種方法

利用insert into 命令一條一條插入：

采用這種方法，可以爬一條立馬向數(shù)據(jù)庫(kù)里面插入一條數(shù)據(jù)，整體銜接好，不怕大量數(shù)據(jù)一次性塞進(jìn)數(shù)據(jù)庫(kù)導(dǎo)致?lián)矶拢?/p>

pd.io.sql.to_sql( )整個(gè)數(shù)據(jù)框以追加的方式整體復(fù)制進(jìn)去

今天主要研究第二種方法

實(shí)現(xiàn)代碼：

import pandas as pd ?#導(dǎo)入數(shù)據(jù)分析模塊
import pymysql #導(dǎo)入數(shù)據(jù)庫(kù)接口模塊
from sqlalchemy import create_engine
data=pd.read_csv(r"D:\數(shù)據(jù)\yikatongchengkeshuakashuju\201608\SPTCC20160901.csv",engine='python',header=None) #讀取數(shù)據(jù)encoding='mbcs',
data.columns=["卡號(hào)","日期","時(shí)間","站點(diǎn)","交通方式","費(fèi)用","是否有優(yōu)惠"] #由于原csv文件沒(méi)有表頭，這里添加表頭
#print(data.head()) #測(cè)試

db=pymysql.connect("localhost","root","123456","metro_sh",charset="utf8") #鏈接數(shù)據(jù)庫(kù)metro_sh
cursor=db.cursor() #獲取游標(biāo)
cursor.execute("drop table if exists metro_sh_20160901") #以重新寫(xiě)入的方式導(dǎo)入數(shù)據(jù)表
connect=create_engine("mysql+pymysql://root:123456@localhost:3306/metro_sh?charset=utf8")
pd.io.sql.to_sql(data,"metro_sh_20160901",connect,schema="metro_sh",index=False,if_exists="append")

結(jié)果截圖：

代碼解讀：

create_engine( )參數(shù)說(shuō)明：

create_engine(mysql+mysqldb://用戶(hù)名:密碼@localhost:端口/數(shù)據(jù)庫(kù)名?編碼)
設(shè)置數(shù)據(jù)庫(kù)的編碼方式的時(shí)候最好與之前pd.read_csv()中的encoding參數(shù)一致

pd.io.sql.to_sql( )參數(shù)說(shuō)明：

(數(shù)據(jù)框, ‘表名’, con=連接鍵, schema=‘數(shù)據(jù)庫(kù)名’, if_exists=‘操作方式’)
操作方式有append、fail、replace

append：如果表存在，則將數(shù)據(jù)添加到這個(gè)表的后面
fail：如果表存在就不寫(xiě)入
replace：如果存在表，刪了，覆蓋

該方法有一個(gè)缺點(diǎn)：

該方法整體性好，內(nèi)存消耗大，如果內(nèi)存大可以一試

到此這篇關(guān)于如何讓python把數(shù)據(jù)框?qū)懭隡ySQL的文章就介紹到這了,更多相關(guān)python把數(shù)據(jù)框?qū)懭隡ySQL內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: