Python中八種數(shù)據(jù)導(dǎo)入方法總結(jié)
大多數(shù)情況下，會(huì)使用NumPy或Pandas來導(dǎo)入數(shù)據(jù)，因此在開始之前，先執(zhí)行：
import?numpy?as?np import?pandas?as?pd
兩種獲取help的方法
很多時(shí)候?qū)σ恍┖瘮?shù)方法不是很了解，此時(shí)Python提供了一些幫助信息，以快速使用Python對(duì)象。
使用Numpy中的info方法
np.info(np.ndarray.dtype)
Python內(nèi)置函數(shù)
help(pd.read_csv)
一、文本文件
1、純文本文件
filename?=?'demo.txt' file?=?open(filename,?mode='r')?#?打開文件進(jìn)行讀取 text?=?file.read()?#?讀取文件的內(nèi)容 print(file.closed)?#?檢查文件是否關(guān)閉 file.close()?#?關(guān)閉文件 print(text)
使用上下文管理器 -- with
with?open('demo.txt',?'r')?as?file:
????print(file.readline())?#?一行一行讀取
????print(file.readline())
????print(file.readline())
2、表格數(shù)據(jù)：Flat文件
使用 Numpy 讀取 Flat 文件
Numpy 內(nèi)置函數(shù)處理數(shù)據(jù)的速度是 C 語(yǔ)言級(jí)別的。
Flat 文件是一種包含沒有相對(duì)關(guān)系結(jié)構(gòu)的記錄的文件。（支持Excel、CSV和Tab分割符文件 ）
1.具有一種數(shù)據(jù)類型的文件
用于分隔值的字符串跳過前兩行。在第一列和第三列讀取結(jié)果數(shù)組的類型。
filename?=?'mnist.txt' data?=?np.loadtxt(filename, ??????????????????delimiter=',', ??????????????????skiprows=2, ??????????????????usecols=[0,2], ??????????????????dtype=str)
2.具有混合數(shù)據(jù)類型的文件
兩個(gè)硬的要求：
- 跳過表頭信息
- 區(qū)分橫縱坐標(biāo)
filename?=?'titanic.csv' data?=?np.genfromtxt(filename, ?????????????????????delimiter=',', ?????????????????????names=True, ?????????????????????dtype=None)
使用 Pandas 讀取Flat文件
filename?=?'demo.csv'? data?=?pd.read_csv(filename,? ???????????????????nrows=5,????????#?要讀取的文件的行數(shù) ???????????????????header=None,????#?作為列名的行號(hào) ???????????????????sep='\t',???????#?分隔符使用 ???????????????????comment='#',????#?分隔注釋的字符 ???????????????????na_values=[""])?#?可以識(shí)別為NA/NaN的字符串
二、Excel 電子表格
Pandas中的ExcelFile()是pandas中對(duì)excel表格文件進(jìn)行讀取相關(guān)操作非常方便快捷的類，尤其是在對(duì)含有多個(gè)sheet的excel文件進(jìn)行操控時(shí)非常方便。
file?=?'demo.xlsx' data?=?pd.ExcelFile(file) df_sheet2?=?data.parse(sheet_name='1960-1966', ???????????????????????skiprows=[0], ???????????????????????names=['Country', ??????????????????????????????'AAM:?War(2002)']) df_sheet1?=?pd.read_excel(data, ??????????????????????????sheet_name=0, ??????????????????????????parse_cols=[0], ??????????????????????????skiprows=[0], ??????????????????????????names=['Country'])
使用sheet_names屬性獲取要讀取工作表的名稱。
data.sheet_names
三、SAS 文件
SAS (Statistical Analysis System)是一個(gè)模塊化、集成化的大型應(yīng)用軟件系統(tǒng)。其保存的文件即sas是統(tǒng)計(jì)分析文件。
from?sas7bdat?import?SAS7BDAT
with?SAS7BDAT('demo.sas7bdat')?as?file:
??df_sas?=?file.to_data_frame()
四、Stata 文件
Stata 是一套提供其使用者數(shù)據(jù)分析、數(shù)據(jù)管理以及繪制專業(yè)圖表的完整及整合性統(tǒng)計(jì)軟件。其保存的文件后綴名為.dta的Stata文件。
data?=?pd.read_stata('demo.dta')
五、Pickled 文件
python中幾乎所有的數(shù)據(jù)類型（列表，字典，集合，類等）都可以用pickle來序列化。python的pickle模塊實(shí)現(xiàn)了基本的數(shù)據(jù)序列和反序列化。通過pickle模塊的序列化操作我們能夠?qū)⒊绦蛑羞\(yùn)行的對(duì)象信息保存到文件中去，永久存儲(chǔ)；通過pickle模塊的反序列化操作，我們能夠從文件中創(chuàng)建上一次程序保存的對(duì)象。
import?pickle
with?open('pickled_demo.pkl',?'rb')?as?file:
???pickled_data?=?pickle.load(file)?#?下載被打開被讀取到的數(shù)據(jù)
與其相對(duì)應(yīng)的操作是寫入方法pickle.dump() 。
六、HDF5 文件
HDF5文件是一種常見的跨平臺(tái)數(shù)據(jù)儲(chǔ)存文件，可以存儲(chǔ)不同類型的圖像和數(shù)碼數(shù)據(jù)，并且可以在不同類型的機(jī)器上傳輸，同時(shí)還有統(tǒng)一處理這種文件格式的函數(shù)庫(kù)。
HDF5 文件一般以 .h5 或者 .hdf5 作為后綴名，需要專門的軟件才能打開預(yù)覽文件的內(nèi)容。
import?h5py filename?=?'H-H1_LOSC_4_v1-815411200-4096.hdf5' data?=?h5py.File(filename,?'r')
七、Matlab 文件
其由matlab將其工作區(qū)間里的數(shù)據(jù)存儲(chǔ)的后綴為.mat的文件。
import?scipy.io filename?=?'workspace.mat' mat?=?scipy.io.loadmat(filename)
八、關(guān)系型數(shù)據(jù)庫(kù)
from?sqlalchemy?import?create_engine
engine?=?create_engine('sqlite://Northwind.sqlite')
使用table_names()方法獲取一個(gè)表名列表
table_names?=?engine.table_names()
1、直接查詢關(guān)系型數(shù)據(jù)庫(kù)
con?=?engine.connect()
rs?=?con.execute("SELECT?*?FROM?Orders")
df?=?pd.DataFrame(rs.fetchall())
df.columns?=?rs.keys()
con.close()
使用上下文管理器 -- with
with?engine.connect()?as?con:
????rs?=?con.execute("SELECT?OrderID?FROM?Orders")
????df?=?pd.DataFrame(rs.fetchmany(size=5))
????df.columns?=?rs.keys()
2、使用Pandas查詢關(guān)系型數(shù)據(jù)庫(kù)
df?=?pd.read_sql_query("SELECT?*?FROM?Orders",?engine)
數(shù)據(jù)探索
數(shù)據(jù)導(dǎo)入后會(huì)對(duì)數(shù)據(jù)進(jìn)行初步探索，如查看數(shù)據(jù)類型，數(shù)據(jù)大小、長(zhǎng)度等一些基本信息。這里簡(jiǎn)單總結(jié)一些。
1、NumPy Arrays
data_array.dtype??#?數(shù)組元素的數(shù)據(jù)類型 data_array.shape??#?陣列尺寸 len(data_array)???#?數(shù)組的長(zhǎng)度
2、Pandas DataFrames
df.head()??#?返回DataFrames前幾行（默認(rèn)5行） df.tail()??#?返回DataFrames最后幾行（默認(rèn)5行） df.index???#?返回DataFrames索引 df.columns?#?返回DataFrames列名 df.info()??#?返回DataFrames基本信息 data_array?=?data.values?#?將DataFrames轉(zhuǎn)換為NumPy數(shù)組
以上就是Python中八種數(shù)據(jù)導(dǎo)入方法總結(jié)的詳細(xì)內(nèi)容，更多關(guān)于Python數(shù)據(jù)導(dǎo)入的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
在日常工作中,我們經(jīng)常需要處理PPT中的圖片,本文將介紹如何使用Python開發(fā)一個(gè)圖形界面工具,實(shí)現(xiàn)PPT圖片提取和九宮格合并功能,需要的可以參考下2024-12-12
利用django+wechat-python-sdk 創(chuàng)建微信服務(wù)器接入的方法
今天小編就為大家分享一篇利用django+wechat-python-sdk 創(chuàng)建微信服務(wù)器接入的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟小編過來看看吧2019-02-02
這篇文章主要介紹了Python3的socket使用方法詳解,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-02-02
這篇文章主要介紹了python的變量與賦值詳細(xì)分析，具有一定參考價(jià)值，需要的朋友可以了解下。2017-11-11
這篇文章主要介紹了pytorch 中nn.Dropout的使用說明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2021-05-05
基于Python編寫一個(gè)B站全自動(dòng)抽獎(jiǎng)的小程序
本文將利用Python編寫一個(gè)B站全自動(dòng)抽獎(jiǎng)的小程序，可以實(shí)時(shí)監(jiān)控自己關(guān)注的UP主，如果關(guān)注的UP主中有人發(fā)布了抽獎(jiǎng)的動(dòng)態(tài)，就自動(dòng)參與這個(gè)抽獎(jiǎng)。這樣就能不錯(cuò)過任何一個(gè)可以暴富的機(jī)會(huì)了。需要的可以參考一下2022-03-03
文章介紹了在Spyder中導(dǎo)入已存在項(xiàng)目時(shí)遇到的錯(cuò)誤及解決方法,通過創(chuàng)建新項(xiàng)目并復(fù)制`.spyproject`文件夾到已存在項(xiàng)目中,可以成功導(dǎo)入項(xiàng)目,此外,還提到如何在Spyder中顯示項(xiàng)目資源管理器2025-01-01
Django Admin中增加導(dǎo)出Excel功能過程解析
這篇文章主要介紹了Django Admin中增加導(dǎo)出Excel功能過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了jupyter 導(dǎo)入csv文件方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-04-04
YOLOv5改進(jìn)之添加CBAM注意力機(jī)制的方法
注意力機(jī)制最先被用在NLP領(lǐng)域,Attention就是為了讓模型認(rèn)識(shí)到數(shù)據(jù)中哪一部分是最重要的,為它分配更大的權(quán)重,獲得更多的注意力在一些特征上,讓模型表現(xiàn)更好,這篇文章主要給大家介紹了關(guān)于YOLOv5改進(jìn)之添加CBAM注意力機(jī)制的相關(guān)資料,需要的朋友可以參考下2022-11-11