對(duì)python中大文件的導(dǎo)入與導(dǎo)出方法詳解
1、csv文件的導(dǎo)入和導(dǎo)出
通過一個(gè)矩陣導(dǎo)出為csv文件，將csv文件導(dǎo)入為矩陣
將csv文件導(dǎo)入到一個(gè)矩陣中
import numpy
my_matrix = numpy.loadtxt(open("c:\\1.csv","rb"),delimiter=",",skiprows=0)
將矩陣導(dǎo)出到本地csv中
numpy.savetxt('new.csv', my_matrix, delimiter = ',')
未完待續(xù)。。。
也可以使用pickle模塊，保存的文件是序列化的
python的pickle模塊實(shí)現(xiàn)了基本的數(shù)據(jù)序列和反序列化。通過pickle模塊的序列化操作我們能夠?qū)⒊绦蛑羞\(yùn)行的對(duì)象信息保存到文件中去，永久存儲(chǔ)；通過pickle模塊的反序列化操作，我們能夠從文件中創(chuàng)建上一次程序保存的對(duì)象。
pickle.dump(obj, file, [,protocol])
注解：將對(duì)象obj保存到文件file中去。
protocol為序列化使用的協(xié)議版本，0：ASCII協(xié)議，所序列化的對(duì)象使用可打印的ASCII碼表示；1：老式的二進(jìn)制協(xié)議；2：2.3版本引入的新二進(jìn)制協(xié)議，較以前的更高效。其中協(xié)議0和1兼容老版本的python。protocol默認(rèn)值為0。
file：對(duì)象保存到的類文件對(duì)象。file必須有write()接口， file可以是一個(gè)以'w'方式打開的文件或者一個(gè)StringIO對(duì)象或者其他任何實(shí)現(xiàn)write()接口的對(duì)象。如果protocol>=1，文件對(duì)象需要是二進(jìn)制模式打開的。
pickle.load(file)
注解：從file中讀取一個(gè)字符串，并將它重構(gòu)為原來(lái)的python對(duì)象。
file：類文件對(duì)象，有read()和readline()接口。
保存數(shù)據(jù)
tmpdatapath = "E:\\data\\u_i_matrix.csv" savefp = open(tmpdatapath,"w") pickle.dump(u_i_mat,savefp) savefp.close();
導(dǎo)入數(shù)據(jù)
fp_mat = open("E:\\data\\tmpdata\\u_i_matrix.csv","r")
rMat = pickle.load(fp_mat)
fp_mat.close()
追加：將內(nèi)容通過print輸入到文件中
str=”a string to print to file” f=open(‘out.txt','w') print >>f,str f.close()
以上這篇對(duì)python中大文件的導(dǎo)入與導(dǎo)出方法詳解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
關(guān)于jupyter lab安裝及導(dǎo)入tensorflow找不到模塊的問題
這篇文章主要介紹了關(guān)于jupyter lab安裝及導(dǎo)入tensorflow找不到模塊的問題,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-03-03
Python標(biāo)準(zhǔn)庫(kù)pathlib操作目錄和文件
這篇文章主要為大家介紹了Python標(biāo)準(zhǔn)庫(kù)pathlib操作目錄和文件的示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步2021-11-11
Pandas之ReIndex重新索引的實(shí)現(xiàn)
這篇文章主要介紹了Pandas之ReIndex重新索引的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-06-06
pycharm通過ssh連接遠(yuǎn)程服務(wù)器教程
今天小編就為大家分享一篇pycharm通過ssh連接遠(yuǎn)程服務(wù)器教程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來(lái)看看吧2020-02-02
Python生成器深度解析如何構(gòu)建強(qiáng)大的數(shù)據(jù)處理管道
這篇文章主要為大家介紹了Python生成器深度解析如何構(gòu)建強(qiáng)大的數(shù)據(jù)處理管道，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-06-06
水印在很多時(shí)候都會(huì)使用的到，本文主要介紹了Python批量添加圖片水印的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01
python多進(jìn)程及通信實(shí)現(xiàn)異步任務(wù)的方法
這篇文章主要介紹了python多進(jìn)程及通信實(shí)現(xiàn)異步任務(wù)需求,本人也是很少接觸多進(jìn)程的場(chǎng)景，對(duì)于python多進(jìn)程的使用也是比較陌生的。在接觸了一些多進(jìn)程的業(yè)務(wù)場(chǎng)景下，對(duì)python多進(jìn)程的使用進(jìn)行了學(xué)習(xí)，覺得很有必要進(jìn)行一個(gè)梳理總結(jié)，感興趣的朋友一起看看吧2022-05-05
darknet框架中YOLOv3對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練和預(yù)測(cè)詳解
這篇文章主要為大家介紹了darknet框架中YOLOv3對(duì)數(shù)據(jù)集進(jìn)行訓(xùn)練和預(yù)測(cè)使用詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-11-11
Python實(shí)現(xiàn)疫情通定時(shí)自動(dòng)填寫功能(附代碼)
這篇文章主要介紹了Python實(shí)現(xiàn)疫情通定時(shí)自動(dòng)填寫功能，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-05-05
python argparse命令行參數(shù)解析(推薦)
Python argparse模塊是解析命令行參數(shù)的首選方法。解析命令行參數(shù)是一個(gè)非常常見的任務(wù)，Python腳本根據(jù)傳遞的值來(lái)執(zhí)行和操作2021-06-06