最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

python保存大型 .mat 數(shù)據(jù)文件報(bào)錯(cuò)超出 IO 限制的操作

 更新時(shí)間:2021年05月10日 16:34:31   作者:ON_THE_WAY_FOREVER  
這篇文章主要介紹了python保存大型 .mat 數(shù)據(jù)文件報(bào)錯(cuò)超出 IO 限制的操作,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

python 保存 .mat 文件的大小是有限制的,似乎是 5G 以內(nèi),如果需要保存幾十個(gè) G 的數(shù)據(jù)的話,可以選用其他方式,

比如 h5 文件

import h5py
def h5_data_write(train_data, train_label, test_data, test_label, shuffled_flag):
    print("h5py文件正在寫入磁盤...")
    
    save_path = "../save_test/" + "train_test_split_data_label_" + shuffled_flag + ".h5"
    with h5py.File(save_path, 'w') as f:
        f.create_dataset('train_data', data=train_data)
        f.create_dataset('train_label', data=train_label)
        f.create_dataset('test_data', data=test_data)
        f.create_dataset('test_label', data=test_label)
    print("h5py文件保存成功!")
def h5_data_read(filename):
    """
        keys() : 獲取本文件夾下所有的文件及文件夾的名字
        f['key_name'] : 獲取對(duì)應(yīng)的對(duì)象
    """
    file = h5py.File(filename,'r')
    train_data = file['train_data'][:]
    train_label = file['train_label'][:]
    test_data = file['test_data'][:]
    test_label = file['test_label'][:]
    return train_data, train_label, test_data, test_label

補(bǔ)充:通過(guò)python 讀MATLAB數(shù)據(jù)文件 *.mat

背景

在做deeplearning過(guò)程中,使用caffe的框架,一般使用matlab來(lái)處理圖片(matlab處理圖片相對(duì)簡(jiǎn)單,高效),用python來(lái)生成需要的lmdb文件以及做test產(chǎn)生結(jié)果。

所以某些matlab從圖片處理得到的label信息都會(huì)以.mat文件供python讀取,同時(shí)也python產(chǎn)生的結(jié)果信息也需要matlab來(lái)做進(jìn)一步的處理(當(dāng)然也可以使用txt,不嫌麻煩自己處理結(jié)構(gòu)信息)。

介紹

matlab和python間的數(shù)據(jù)傳輸一般是基于matlab的文件格式.mat,python中numpy和scipy提供了一些函數(shù),可以很好的對(duì).mat文件的數(shù)據(jù)進(jìn)行讀寫和處理。

在這里numpy作用是提供Array功能映射matlab里面的Matrix,而scipy提供了兩個(gè)函數(shù)loadmat和savemat來(lái)讀寫.mat文件。

下面是一個(gè)簡(jiǎn)單的測(cè)試程序

具體的函數(shù)用法可以看幫助文檔:

import scipy.io as sio 
import matplotlib.pyplot as plt 
import numpy as np 
 
#matlab文件名 
matfn=u'E:/python/測(cè)試程序/162250671_162251656_1244.mat' 
data=sio.loadmat(matfn) 
 
plt.close('all') 
xi=data['xi'] 
yi=data['yi'] 
ui=data['ui'] 
vi=data['vi'] 
plt.figure(1) 
plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5]) 
plt.figure(2) 
plt.contourf(xi,yi,ui) 
plt.show()  
sio.savemat('saveddata.mat', {'xi': xi,'yi': yi,'ui': ui,'vi': vi}) 

示例2

import scipy.io as sio
import numpy as np
 
###下面是講解python怎么讀取.mat文件以及怎么處理得到的結(jié)果###
load_fn = 'xxx.mat'
load_data = sio.loadmat(load_fn)
load_matrix = load_data['matrix'] #假設(shè)文件中存有字符變量是matrix,例如matlab中save(load_fn, 'matrix');當(dāng)然可以保存多個(gè)save(load_fn, 'matrix_x', 'matrix_y', ...);
load_matrix_row = load_matrix[0] #取了當(dāng)時(shí)matlab中matrix的第一行,python中數(shù)組行排列
 
###下面是講解python怎么保存.mat文件供matlab程序使用###
save_fn = 'xxx.mat'
save_array = np.array([1,2,3,4])
sio.savemat(save_fn, {'array': save_array}) #和上面的一樣,存在了array變量的第一行
 
save_array_x = np.array([1,2,3,4])
save_array_y = np.array([5,6,7,8])
sio.savemat(save_fn, {'array_x': save_array_x, 'array_x': save_array_x}) #同理,

鑒于以后的目標(biāo)主要是利用現(xiàn)有的Matlab數(shù)據(jù)(.mat或者.txt),主要考慮python導(dǎo)入Matlab數(shù)據(jù)的問(wèn)題。以下代碼可以解決python讀取.mat文件的問(wèn)題。

主要使用sicpy.io即可。

sicpy.io提供了兩個(gè)函數(shù)loadmat和savemat,非常方便。

# adapted from http://blog.csdn.net/rumswell/article/details/8545087
import scipy.io as sio  
#import matplotlib.pyplot as plt
from pylab import *
import numpy as np   
 
matfn='E:\\Pythonrun\\myuse\\matdata.mat'   # the path of .mat data
data=sio.loadmat(matfn)  
xx=data['matdata']
figure(1)
plot(xx)
show()

以下代碼是讀入txt數(shù)據(jù)并轉(zhuǎn)換成數(shù)組,方法比較笨,更有效的方法待研究。

from numpy import * 
def file2list(filename):  

    fr = open(filename)  
    array = fr.readlines() #以文件中的每行為一個(gè)元素,形成一個(gè)list列表  
    num = len(array)  
    returnMat = zeros((num,3))#初始化元素為0的,行號(hào)數(shù)個(gè)列表,其中每個(gè)元素仍是列表,元素?cái)?shù)是3,在此表示矩陣  
    index = 0   
 
    for line in array:  
        line = line.strip()#去掉一行后的回車符號(hào)  
        linelist = line.split(' ')#將一行根據(jù)分割符,劃分成多個(gè)元素的列表  
        returnMat[index,:] = linelist[0:3]#向矩陣賦值,注意這種賦值方式比較笨拙  
        index +=1  
    return returnMat
 
fname = 'E:\\Pythonrun\\myuse\\num_data.txt'
data= file2list(fname)

補(bǔ)充:Python 讀寫 Matlab Mat 格式數(shù)據(jù)

1. 非 matlab v7.3 files 讀寫

import scipy.io as sio
import numpy
# matFile 讀取
matFile = 'matlabdata.mat'
datas = sio.loadmat(matFile)
# 加載 matFile 內(nèi)的數(shù)據(jù)
# 假設(shè) mat 內(nèi)保存的變量為 matlabdata
matlabdata = datas['matlabdata']
# matFile 寫入
save_matFile = 'save_matlabdata.mat'
save_matlabdata = np.array([1,2,3,4,5])
sio.savemat(save_matFile, {'array':save_matlabdata})

2. matlab v7.3 files 讀取

如果 matlab 保存 data 時(shí),采用的是 ‘-v7.3',scipy.io.loadmat函數(shù)加載數(shù)據(jù)會(huì)出現(xiàn)錯(cuò)誤:

File "/usr/local/lib/python2.7/dist-packages/scipy/io/matlab/mio.py", line 64, in mat_reader_factory
    raise NotImplementedError('Please use HDF reader for matlab v7.3 files')
NotImplementedError: Please use HDF reader for matlab v7.3 files

可以采用:

import h5py
with h5py.File('matlabdata.mat', 'r') as f:
    f.keys() # matlabdata.mat 中的變量名
datas = h5py.File('matlabdata.mat')['matlabdata'].value

以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教。

相關(guān)文章

  • wxPython窗體拆分布局基礎(chǔ)組件

    wxPython窗體拆分布局基礎(chǔ)組件

    這篇文章主要為大家詳細(xì)介紹了wxPython窗體拆分布局基礎(chǔ)組件,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-11-11
  • Python中的SOLID原則實(shí)例詳解

    Python中的SOLID原則實(shí)例詳解

    SOLID原則是由Robert C. Martin提出的以首字母縮寫命名的編碼準(zhǔn)則,它代表了五種不同的編碼習(xí)慣,下面這篇文章主要給大家介紹了關(guān)于Python中SOLID原則的相關(guān)資料,需要的朋友可以參考下
    2023-02-02
  • python使用IP歸屬地查詢API追蹤網(wǎng)絡(luò)活動(dòng)

    python使用IP歸屬地查詢API追蹤網(wǎng)絡(luò)活動(dòng)

    這篇文章主要為大家介紹了python使用IP歸屬地查詢API追蹤網(wǎng)絡(luò)活動(dòng)實(shí)現(xiàn)詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
    2023-09-09
  • Python統(tǒng)計(jì)列表中的重復(fù)項(xiàng)出現(xiàn)的次數(shù)的方法

    Python統(tǒng)計(jì)列表中的重復(fù)項(xiàng)出現(xiàn)的次數(shù)的方法

    這篇文章主要介紹了Python統(tǒng)計(jì)列表中的重復(fù)項(xiàng)出現(xiàn)的次數(shù)的方法,需要的朋友可以參考下
    2014-08-08
  • python利用7z批量解壓rar的實(shí)現(xiàn)

    python利用7z批量解壓rar的實(shí)現(xiàn)

    這篇文章主要介紹了python利用7z批量解壓rar的實(shí)現(xiàn),文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2019-08-08
  • python多線程調(diào)用exit無(wú)法退出的解決方法

    python多線程調(diào)用exit無(wú)法退出的解決方法

    今天小編就為大家分享一篇python多線程調(diào)用exit無(wú)法退出的解決方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-02-02
  • Python時(shí)間戳與時(shí)間字符串互相轉(zhuǎn)換實(shí)例代碼

    Python時(shí)間戳與時(shí)間字符串互相轉(zhuǎn)換實(shí)例代碼

    這篇文章主要介紹了Python時(shí)間戳與時(shí)間字符串互相轉(zhuǎn)換實(shí)例代碼,大家參考使用
    2013-11-11
  • Python搭建Spark分布式集群環(huán)境

    Python搭建Spark分布式集群環(huán)境

    這篇文章主要介紹了Spark分布式集群環(huán)境搭建基于Python版,Apache Spark 是一個(gè)新興的大數(shù)據(jù)處理通用引擎,提供了分布式的內(nèi)存抽象。100 倍本文而是使用三臺(tái)電腦來(lái)搭建一個(gè)小型分布式集群環(huán)境安裝,需要的朋友可以參考下
    2019-07-07
  • Python股票數(shù)據(jù)可視化代碼詳解

    Python股票數(shù)據(jù)可視化代碼詳解

    這篇文章主要為大家詳細(xì)介紹了Python股票數(shù)據(jù)可視化,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下,希望能夠給你帶來(lái)幫助
    2022-03-03
  • python pip源配置,pip配置文件存放位置的方法

    python pip源配置,pip配置文件存放位置的方法

    今天小編就為大家分享一篇python pip源配置,pip配置文件存放位置的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2019-07-07

最新評(píng)論

扎兰屯市| 临高县| 临桂县| 中牟县| 香格里拉县| 友谊县| 开鲁县| 青海省| 突泉县| 西畴县| 怀化市| 南靖县| 阿瓦提县| 吉隆县| 抚州市| 稷山县| 大城县| 腾冲县| 五莲县| 江西省| 保山市| 鄂尔多斯市| 塔城市| 桂阳县| 石河子市| 阳谷县| 泰兴市| 凌云县| 仙桃市| 日喀则市| 平阳县| 通山县| 隆子县| 临汾市| 信阳市| 临猗县| 常熟市| 南宁市| 色达县| 泾川县| 门头沟区|