快捷導(dǎo)航

使用python的pandas庫(kù)讀取csv文件保存至mysql數(shù)據(jù)庫(kù)

更新時(shí)間：2018年08月20日 17:09:34 作者：Jesszen

這篇文章主要介紹了利用python的pandas庫(kù)讀取csv文件保存至mysql數(shù)據(jù)庫(kù)的方法，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

第一：pandas.read_csv讀取本地csv文件為數(shù)據(jù)框形式

data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')

第二：如果存在日期格式數(shù)據(jù)，利用pandas.to_datatime()改變類(lèi)型

data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])

注意：=號(hào)，這樣在原始的數(shù)據(jù)框中，改變了列的類(lèi)型

第三：查看列類(lèi)型

print(data.dtypes)

第四：方法一：保存至MYSQL【缺點(diǎn)耗時(shí)長(zhǎng)】

利用MYSQLdb庫(kù)，封裝成一個(gè)類(lèi)，實(shí)現(xiàn)創(chuàng)建表，添加數(shù)據(jù)的操作，缺點(diǎn)耗時(shí)長(zhǎng)

class Jess_mysql():
 """
 設(shè)置mysql類(lèi)，實(shí)現(xiàn)創(chuàng)建數(shù)據(jù)框，表，及添加數(shù)據(jù)
 """
 def __init__(self):
  self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database)
  self.conn=self.mysql.cursor()
 def create_table(self,table_names,col_names):
  """
  創(chuàng)建表
  :param table_names: 表名
  :param col_names: 列名，列表格式
  :return:
  """
  tables=' varchar(20),'.join(['%s'] *len(col_names))
  sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#字段需要標(biāo)注格式
  ss=sql_yuju %(tuple(col_names))
  print(ss)
  self.conn.execute(ss)
  self.mysql.commit()
 def add_data(self,table_name,col_names,col_data):
  """
  :param table_name: 表名
  :param col_names: 列名，字段名
  :param col_data: 字段值
  :return:
  """
  colname=','.join(['%s']*len(col_names))
  data=','.join(['%s']*len(col_data))
  sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data)
  ss=sql_yuju%(*col_names,*col_data)
  #print(ss)
  self.conn.execute(ss)
  self.mysql.commit()

第五：利用sqlalchemy的create_engine()方法

1、創(chuàng)建連接

import sqlalchemy
#engine=sqlalchemy.create_engine('mysql + mysqldb://root:123456@118.24.26.227:3306/python_yuny')
engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format
        (user=mysql_name,password=mysql_password,host=mysql_host,database=mysql_database))

2、利用pd.io.sql.to_sql()

pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')

注意相關(guān)參數(shù)的設(shè)置。

此外，保存到mysql中，需要注意日期格式的列，因?yàn)樵趍ysql對(duì)應(yīng)的field設(shè)置格式為varchar(20)后，原始的日期2015-8-9，寫(xiě)入數(shù)據(jù)庫(kù)，只有2015，這需要兩步操作。

a、上面第二目錄的，利用pandas.to_datetime(,format='%Y-%m-%d') #format的格式要和原始字符2016-8-9格式一樣

b、利用datetime庫(kù)，實(shí)現(xiàn)format='%Y%m%d'

x=data.shape[0]
for i in range(x):
 col_data=list(df.iloc[i,:])
 col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')

•這一步后，日期格式由原始的2016-6-2，轉(zhuǎn)為20160606，就可以以寫(xiě)入數(shù)據(jù)庫(kù)對(duì)應(yīng)的字段【其字段類(lèi)型varchar(20)】

第六：讀取mysql的數(shù)據(jù)

df=pd.read_sql('select * from %s'%table_name,con=engine,index_col=None)

默認(rèn)不設(shè)置索引列，可以自行指定索引列名。

總結(jié)

以上所述是小編給大家介紹的使用python的pandas庫(kù)讀取csv文件保存至mysql數(shù)據(jù)庫(kù)，希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！

您可能感興趣的文章: