下面整理下python有哪些方式可以讀取數(shù)據(jù)文件。

1. python內(nèi)置方法（read、readline、readlines）

• read() ： 一次性讀取整個(gè)文件內(nèi)容。推薦使用read(size)方法，size越大運(yùn)行時(shí)間越長(zhǎng)
• readline() ：每次讀取一行內(nèi)容。內(nèi)存不夠時(shí)使用，一般不太用
• readlines() ：一次性讀取整個(gè)文件內(nèi)容，并按行返回到list，方便我們遍歷

2. 內(nèi)置模塊（csv）

python內(nèi)置了csv模塊用于讀寫(xiě)csv文件，csv是一種逗號(hào)分隔符文件，是數(shù)據(jù)科學(xué)中最常見(jiàn)的數(shù)據(jù)存儲(chǔ)格式之一。
csv模塊能輕松完成各種體量數(shù)據(jù)的讀寫(xiě)操作，當(dāng)然大數(shù)據(jù)量需要代碼層面的優(yōu)化。

csv模塊讀取文件

# 讀取csv文件
import csv  
with open('test.csv','r') as myFile:  
    lines=csv.reader(myFile)  
    for line in lines:  
        print (line)  

csv模塊寫(xiě)入文件

import csv  
with open('test.csv','w+') as myFile:      
    myWriter=csv.writer(myFile)  
    # writerrow一行一行寫(xiě)入
    myWriter.writerow([7,8,9])  
    myWriter.writerow([8,'h','f'])  
    # writerow多行寫(xiě)入
    myList=[[1,2,3],[4,5,6]]  
    myWriter.writerows(myList)  

3. 使用numpy庫(kù)（loadtxt、load、fromfile）

loadtxt方法

loadtxt用來(lái)讀取文本文件（包含txt、csv等）以及.gz 或.bz2格式壓縮文件，前提是文件數(shù)據(jù)每一行必須要有數(shù)量相同的值。

import numpy as np
# loadtxt()中的dtype參數(shù)默認(rèn)設(shè)置為float
# 這里設(shè)置為str字符串便于顯示
np.loadtxt('test.csv',dtype=str)
# out：array(['1,2,3', '4,5,6', '7,8,9'], dtype='<U5')

load方法

load用來(lái)讀取numpy專(zhuān)用的.npy, .npz 或者pickled持久化文件。

import numpy as np
# 先生成npy文件
np.save('test.npy', np.array([[1, 2, 3], [4, 5, 6]]))
# 使用load加載npy文件
np.load('test.npy')
'''
out:array([[1, 2, 3],
       [4, 5, 6]])
'''

fromfile方法

fromfile方法可以讀取簡(jiǎn)單的文本數(shù)據(jù)或二進(jìn)制數(shù)據(jù)，數(shù)據(jù)來(lái)源于tofile方法保存的二進(jìn)制數(shù)據(jù)。讀取數(shù)據(jù)時(shí)需要用戶(hù)指定元素類(lèi)型，并對(duì)數(shù)組的形狀進(jìn)行適當(dāng)?shù)男薷摹?br />

import numpy as np
x = np.arange(9).reshape(3,3)
x.tofile('test.bin')
np.fromfile('test.bin',dtype=np.int)
# out:array([0, 1, 2, 3, 4, 5, 6, 7, 8])

4. 使用pandas庫(kù)（read_csv、read_excel等）

pandas是數(shù)據(jù)處理最常用的分析庫(kù)之一，可以讀取各種各樣格式的數(shù)據(jù)文件，一般輸出dataframe格式。
如：txt、csv、excel、json、剪切板、數(shù)據(jù)庫(kù)、html、hdf、parquet、pickled文件、sas、stata等等

read_csv方法

read_csv方法用來(lái)讀取csv格式文件，輸出dataframe格式。

import pandas as pd
pd.read_csv('test.csv')

read_excel方法

讀取excel文件，包括xlsx、xls、xlsm格式

import pandas as pd
pd.read_excel('test.xlsx')

read_table方法
通過(guò)對(duì)sep參數(shù)（分隔符）的控制來(lái)對(duì)任何文本文件讀取

read_json方法

讀取json格式文件

df = pd.DataFrame([['a', 'b'], ['c', 'd']],index=['row 1', 'row 2'],columns=['col 1', 'col 2'])
j = df.to_json(orient='split')
pd.read_json(j,orient='split')

read_html方法

讀取html表格

read_clipboard方法

讀取剪切板內(nèi)容

read_pickle方法

讀取plckled持久化文件

read_sql方法

讀取數(shù)據(jù)庫(kù)數(shù)據(jù)，連接好數(shù)據(jù)庫(kù)后，傳入sql語(yǔ)句即可

read_dhf方法

讀取hdf5文件，適合大文件讀取

read_parquet方法

讀取parquet文件

read_sas方法

讀取sas文件

read_stata方法

讀取stata文件

read_gbq方法

讀取google bigquery數(shù)據(jù)

5、讀寫(xiě)excel文件（xlrd、xlwt、openpyxl等）

python用于讀寫(xiě)excel文件的庫(kù)有很多，除了前面提到的pandas，還有xlrd、xlwt、openpyxl、xlwings等等。

主要模塊：

• xlrd庫(kù)：從excel中讀取數(shù)據(jù)，支持xls、xlsx
• xlwt庫(kù)：對(duì)excel進(jìn)行修改操作，不支持對(duì)xlsx格式的修改
• xlutils庫(kù)：在xlw和xlrd中，對(duì)一個(gè)已存在的文件進(jìn)行修改
• openpyxl：主要針對(duì)xlsx格式的excel進(jìn)行讀取和編輯
• xlwings：對(duì)xlsx、xls、xlsm格式文件進(jìn)行讀寫(xiě)、格式修改等操作
• xlsxwriter：用來(lái)生成excel表格，插入數(shù)據(jù)、插入圖標(biāo)等表格操作，不支持讀取
• Microsoft Excel API：需安裝pywin32，直接與Excel進(jìn)程通信，可以做任何在Excel里可以做的事情，但比較慢

6. 操作數(shù)據(jù)庫(kù)（pymysql、cx_Oracle等）

python幾乎支持對(duì)所有數(shù)據(jù)庫(kù)的交互，連接數(shù)據(jù)庫(kù)后，可以使用sql語(yǔ)句進(jìn)行增刪改查。
主要模塊：

• pymysql：用于和mysql數(shù)據(jù)庫(kù)的交互
• sqlalchemy：用于和mysql數(shù)據(jù)庫(kù)的交互
• cx_Oracle：用于和oracle數(shù)據(jù)庫(kù)的交互
• sqlite3：內(nèi)置庫(kù)，用于和sqlite數(shù)據(jù)庫(kù)的交互
• pymssql：用于和sql server數(shù)據(jù)庫(kù)的交互
• pymongo：用于和mongodb非關(guān)系型數(shù)據(jù)庫(kù)的交互
• redis、pyredis：用于和redis非關(guān)系型數(shù)據(jù)庫(kù)的交互

到此這篇關(guān)于python里讀寫(xiě)excel等數(shù)據(jù)文件的6種常用方式(小結(jié))的文章就介紹到這了,更多相關(guān)python讀寫(xiě)excel內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

最新評(píng)論