最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Pytorch數(shù)據(jù)讀取之Dataset和DataLoader知識(shí)總結(jié)

 更新時(shí)間:2021年05月23日 17:19:28   作者:群星閃耀  
Dataset和DataLoader都是Pytorch里面讀取數(shù)據(jù)的工具.現(xiàn)在對(duì)這兩種工具做一個(gè)概括和總結(jié),對(duì)正在學(xué)習(xí)Pytorch的小伙伴們很有幫助,需要的朋友可以參考下

一、前言

確保安裝

  • scikit-image
  • numpy

二、Dataset

一個(gè)例子:

# 導(dǎo)入需要的包
import torch
import torch.utils.data.dataset as Dataset
import numpy as np
 
# 編造數(shù)據(jù)
Data = np.asarray([[1, 2], [3, 4],[5, 6], [7, 8]])
Label = np.asarray([[0], [1], [0], [2]])
# 數(shù)據(jù)[1,2],對(duì)應(yīng)的標(biāo)簽是[0],數(shù)據(jù)[3,4],對(duì)應(yīng)的標(biāo)簽是[1]
 
 
#創(chuàng)建子類
class subDataset(Dataset.Dataset):
    #初始化,定義數(shù)據(jù)內(nèi)容和標(biāo)簽
    def __init__(self, Data, Label):
        self.Data = Data
        self.Label = Label
    #返回?cái)?shù)據(jù)集大小
    def __len__(self):
        return len(self.Data)
    #得到數(shù)據(jù)內(nèi)容和標(biāo)簽
    def __getitem__(self, index):
        data = torch.Tensor(self.Data[index])
        label = torch.IntTensor(self.Label[index])
        return data, label
 
# 主函數(shù)
if __name__ == '__main__':
    dataset = subDataset(Data, Label)
    print(dataset)
    print('dataset大小為:', dataset.__len__())
    print(dataset.__getitem__(0))
    print(dataset[0])

 輸出的結(jié)果

我們有了對(duì)Dataset的一個(gè)整體的把握,再來(lái)分析里面的細(xì)節(jié):

#創(chuàng)建子類
class subDataset(Dataset.Dataset):

創(chuàng)建子類時(shí),繼承的時(shí)Dataset.Dataset,不是一個(gè)Dataset。因?yàn)镈ataset是module模塊,不是class類,所以需要調(diào)用module里的class才行,因此是Dataset.Dataset!

lengetitem這兩個(gè)函數(shù),前者給出數(shù)據(jù)集的大小**,后者是用于查找數(shù)據(jù)和標(biāo)簽。是最重要的兩個(gè)函數(shù),我們后續(xù)如果要對(duì)數(shù)據(jù)做一些操作基本上都是再這兩個(gè)函數(shù)的基礎(chǔ)上進(jìn)行。

三、DatasetLoader

DataLoader(dataset,
           batch_size=1,
           shuffle=False,
           sampler=None,
           batch_sampler=None,
           num_works=0,
           clollate_fn=None,
           pin_memory=False,
           drop_last=False,
           timeout=0,
           worker_init_fn=None,
           multiprocessing_context=None)

功能:構(gòu)建可迭代的數(shù)據(jù)裝載器;
dataset:Dataset類,決定數(shù)據(jù)從哪里讀取及如何讀??;數(shù)據(jù)集的路徑
batchsize:批大?。?br /> num_works:是否多進(jìn)程讀取數(shù)據(jù);只對(duì)于CPU
shuffle:每個(gè)epoch是否打亂;
drop_last:當(dāng)樣本數(shù)不能被batchsize整除時(shí),是否舍棄最后一批數(shù)據(jù);
Epoch:所有訓(xùn)練樣本都已輸入到模型中,稱為一個(gè)Epoch;
Iteration:一批樣本輸入到模型中,稱之為一個(gè)Iteration;
Batchsize:批大小,決定一個(gè)Epoch中有多少個(gè)Iteration;

還是舉一個(gè)實(shí)例:

import torch
import torch.utils.data.dataset as Dataset
import torch.utils.data.dataloader as DataLoader
import numpy as np
 
Data = np.asarray([[1, 2], [3, 4],[5, 6], [7, 8]])
Label = np.asarray([[0], [1], [0], [2]])
#創(chuàng)建子類
class subDataset(Dataset.Dataset):
    #初始化,定義數(shù)據(jù)內(nèi)容和標(biāo)簽
    def __init__(self, Data, Label):
        self.Data = Data
        self.Label = Label
    #返回?cái)?shù)據(jù)集大小
    def __len__(self):
        return len(self.Data)
    #得到數(shù)據(jù)內(nèi)容和標(biāo)簽
    def __getitem__(self, index):
        data = torch.Tensor(self.Data[index])
        label = torch.IntTensor(self.Label[index])
        return data, label
 
if __name__ == '__main__':
    dataset = subDataset(Data, Label)
    print(dataset)
    print('dataset大小為:', dataset.__len__())
    print(dataset.__getitem__(0))
    print(dataset[0])
 
    #創(chuàng)建DataLoader迭代器,相當(dāng)于我們要先定義好前面說(shuō)的Dataset,然后再用Dataloader來(lái)對(duì)數(shù)據(jù)進(jìn)行一些操作,比如是否需要打亂,則shuffle=True,是否需要多個(gè)進(jìn)程讀取數(shù)據(jù)num_workers=4,就是四個(gè)進(jìn)程
 
    dataloader = DataLoader.DataLoader(dataset,batch_size= 2, shuffle = False, num_workers= 4)
    for i, item in enumerate(dataloader): #可以用enumerate來(lái)提取出里面的數(shù)據(jù)
        print('i:', i)
        data, label = item #數(shù)據(jù)是一個(gè)元組
        print('data:', data)
        print('label:', label)

四、將Dataset數(shù)據(jù)和標(biāo)簽放在GPU上(代碼執(zhí)行順序出錯(cuò)則會(huì)有bug)

這部分可以直接去看博客:Dataset和DataLoader

總結(jié)下來(lái)時(shí)有兩種方法解決

1.如果在創(chuàng)建Dataset的類時(shí),定義__getitem__方法的時(shí)候,將數(shù)據(jù)轉(zhuǎn)變?yōu)镚PU類型。則需要將Dataloader里面的參數(shù)num_workers設(shè)置為0,因?yàn)檫@個(gè)參數(shù)是對(duì)于CPU而言的。如果數(shù)據(jù)改成了GPU,則只能單進(jìn)程。如果是在Dataloader的部分,先多個(gè)子進(jìn)程讀取,再轉(zhuǎn)變?yōu)镚PU,則num_wokers不用修改。就是上述__getitem__部分的代碼,移到Dataloader部分。

2.不過(guò)一般來(lái)講,數(shù)據(jù)集和標(biāo)簽不會(huì)像我們上述編輯的那么簡(jiǎn)單。一般再kaggle上的標(biāo)簽都是存在CSV這種文件中。需要pandas的配合。

這個(gè)進(jìn)階可以看:WRITING CUSTOM DATASETS, DATALOADERS AND TRANSFORMS,他是用人臉圖片作為數(shù)據(jù)和人臉特征點(diǎn)作為標(biāo)簽。

到此這篇關(guān)于Pytorch數(shù)據(jù)讀取之Dataset和DataLoader知識(shí)總結(jié)的文章就介紹到這了,更多相關(guān)詳解Dataset和DataLoader內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!

相關(guān)文章

  • Python中串口操作的實(shí)現(xiàn)示例

    Python中串口操作的實(shí)現(xiàn)示例

    本文主要介紹了使用Python的pyserial庫(kù)進(jìn)行串口通信,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2025-01-01
  • python3.6中anaconda安裝sklearn踩坑實(shí)錄

    python3.6中anaconda安裝sklearn踩坑實(shí)錄

    這篇文章主要介紹了python3.6中anaconda安裝sklearn踩坑實(shí)錄,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-07-07
  • django的model操作匯整詳解

    django的model操作匯整詳解

    這篇文章主要介紹了django的model操作匯整詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
    2019-07-07
  • python定向爬取淘寶商品價(jià)格

    python定向爬取淘寶商品價(jià)格

    這篇文章主要為大家詳細(xì)介紹了python定向爬取淘寶商品價(jià)格,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2018-02-02
  • python操作excel讓工作自動(dòng)化

    python操作excel讓工作自動(dòng)化

    這篇文章主要為大家詳細(xì)介紹了python如何操作excel讓工作自動(dòng)化,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下
    2019-08-08
  • Python實(shí)現(xiàn)自動(dòng)計(jì)算Excel數(shù)據(jù)指定范圍內(nèi)的區(qū)間最大值

    Python實(shí)現(xiàn)自動(dòng)計(jì)算Excel數(shù)據(jù)指定范圍內(nèi)的區(qū)間最大值

    這篇文章主要為大家詳細(xì)介紹了如何基于Python自動(dòng)計(jì)算Excel數(shù)據(jù)指定范圍內(nèi)的區(qū)間最大值,文中的示例代碼簡(jiǎn)潔易懂,感興趣的小伙伴可以了解下
    2023-07-07
  • Pytorch如何切換 cpu和gpu的使用詳解

    Pytorch如何切換 cpu和gpu的使用詳解

    這篇文章主要介紹了Pytorch如何切換 cpu和gpu的使用詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2021-03-03
  • Python3 基礎(chǔ)語(yǔ)法詳解

    Python3 基礎(chǔ)語(yǔ)法詳解

    在本篇文章里小編給大家分享的是一篇關(guān)于Python3基礎(chǔ)語(yǔ)法知識(shí)點(diǎn)總結(jié)內(nèi)容,有興趣的朋友們可以學(xué)習(xí)下,希望能夠給你帶來(lái)幫助
    2021-10-10
  • Python 分布式緩存之Reids數(shù)據(jù)類型操作詳解

    Python 分布式緩存之Reids數(shù)據(jù)類型操作詳解

    這篇文章主要介紹了Python 分布式緩存之Reids數(shù)據(jù)類型操作詳解,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-06-06
  • python GUI庫(kù)圖形界面開發(fā)之pyinstaller打包python程序?yàn)閑xe安裝文件

    python GUI庫(kù)圖形界面開發(fā)之pyinstaller打包python程序?yàn)閑xe安裝文件

    這篇文章主要介紹了python GUI庫(kù)圖形界面開發(fā)之pyinstaller打包python程序?yàn)閑xe安裝文件,需要的朋友可以參考下
    2020-02-02

最新評(píng)論

太康县| 日喀则市| 左权县| 杨浦区| 永寿县| 黔西县| 保亭| 通海县| 东乡族自治县| 石屏县| 关岭| 乌兰察布市| 马鞍山市| 百色市| 吐鲁番市| 鹤岗市| 铜陵市| 乐清市| 分宜县| 两当县| 行唐县| 阿坝| 北海市| 新兴县| 济源市| 利川市| 微山县| 兴城市| 连南| 玉门市| 东山县| 二连浩特市| 汨罗市| 建阳市| 钦州市| 襄垣县| 沂水县| 航空| 韶山市| 五寨县| 大竹县|