python torch.utils.data.DataLoader使用方法
PyTorch中數(shù)據(jù)讀取的一個(gè)重要接口是torch.utils.data.DataLoader，該接口定義在dataloader.py腳本中，只要是用PyTorch來訓(xùn)練模型基本都會(huì)用到該接口，該接口主要用來將自定義的數(shù)據(jù)讀取接口的輸出或者PyTorch已有的數(shù)據(jù)讀取接口的輸入按照batch size封裝成Tensor，后續(xù)只需要再包裝成Variable即可作為模型的輸入，因此該接口有點(diǎn)承上啟下的作用，比較重要。
數(shù)據(jù)加載器，結(jié)合了數(shù)據(jù)集和取樣器，并且可以提供多個(gè)線程處理數(shù)據(jù)集。
在訓(xùn)練模型時(shí)使用到此函數(shù)，用來把訓(xùn)練數(shù)據(jù)分成多個(gè)小組，此函數(shù)每次拋出一組數(shù)據(jù)。直至把所有的數(shù)據(jù)都拋出。就是做一個(gè)數(shù)據(jù)的初始化。
生成迭代數(shù)據(jù)非常方便，請(qǐng)看如下示例：
"""
批訓(xùn)練，把數(shù)據(jù)變成一小批一小批數(shù)據(jù)進(jìn)行訓(xùn)練。
DataLoader就是用來包裝所使用的數(shù)據(jù)，每次拋出一批數(shù)據(jù)
"""
import torch
import torch.utils.data as Data
BATCH_SIZE = 5
x = torch.linspace(1, 10, 10)
y = torch.linspace(10, 1, 10)
# 把數(shù)據(jù)放在數(shù)據(jù)庫中
torch_dataset = Data.TensorDataset(x, y)
loader = Data.DataLoader(
# 從數(shù)據(jù)庫中每次抽出batch size個(gè)樣本
dataset=torch_dataset,
batch_size=BATCH_SIZE,
shuffle=True,
num_workers=2,
)
def show_batch():
for epoch in range(3):
for step, (batch_x, batch_y) in enumerate(loader):
# training
print("steop:{}, batch_x:{}, batch_y:{}".format(step, batch_x, batch_y))
if __name__ == '__main__':
show_batch()
結(jié)果：
我們來看一下變量類型：
到此這篇關(guān)于python torch.utils.data.DataLoader使用方法的文章就介紹到這了,更多相關(guān)torch.utils.data.DataLoader內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了基于Python實(shí)現(xiàn)隨機(jī)生成8位密碼的相關(guān)方法，文中的示例代碼講解詳細(xì)，具有一定的借鑒價(jià)值，需要的可以參考一下2023-02-02
python matplotlib擬合直線的實(shí)現(xiàn)
這篇文章主要介紹了python matplotlib擬合直線的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
Windows系統(tǒng)下PhantomJS的安裝和基本用法
今天小編就為大家分享一篇關(guān)于Windows系統(tǒng)下PhantomJS的安裝和基本用法，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2018-10-10
Python標(biāo)準(zhǔn)模塊中，有多個(gè)模塊用于數(shù)據(jù)的壓縮與解壓縮，如zipfile，gzip, bz2等等。這篇文章主要給大家介紹了python如何利用模塊zlib壓縮與解壓字符串和文件的方法，有需要的朋友們可以參考借鑒，下面來一起看看吧。2016-12-12
python實(shí)現(xiàn)zabbix發(fā)送短信腳本
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)zabbix發(fā)送短信腳本，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-09-09
一文帶你解密Python迭代器的實(shí)現(xiàn)原理
這篇文章主要為大家詳細(xì)介紹了Python中迭代器的實(shí)現(xiàn)原理，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)Python有一定的幫助，需要的可以參考一下2022-12-12
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)圖片上添加圖片，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-11-11
詳解Python中math和decimal模塊的解析與實(shí)踐
在Python中,math?和?decimal?模塊是處理數(shù)學(xué)運(yùn)算的重要工具,本文將深入探討這兩個(gè)模塊的基礎(chǔ)知識(shí),并通過實(shí)際的代碼示例演示它們的用法,希望對(duì)大家有所幫助2024-02-02
Python的爬蟲程序編寫框架Scrapy入門學(xué)習(xí)教程
Python的一大優(yōu)勢(shì)就是可以輕松制作Web爬蟲,而超高人氣的Scrapy則是名副其實(shí)的Python編寫爬蟲的利器,這里我們就來看一下Python的爬蟲程序編寫框架Scrapy入門學(xué)習(xí)教程:2016-07-07
python操作微信自動(dòng)發(fā)消息的實(shí)現(xiàn)(微信聊天機(jī)器人)
這篇文章主要介紹了python操作微信自動(dòng)發(fā)消息(微信聊天機(jī)器人)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07