torch.utils.data.DataLoader與迭代器轉(zhuǎn)換操作
在做實(shí)驗(yàn)時(shí)，我們常常會(huì)使用用開(kāi)源的數(shù)據(jù)集進(jìn)行測(cè)試。而Pytorch中內(nèi)置了許多數(shù)據(jù)集，這些數(shù)據(jù)集我們常常使用DataLoader類(lèi)進(jìn)行加載。
如下面這個(gè)我們使用DataLoader類(lèi)加載torch.vision中的FashionMNIST數(shù)據(jù)集。
from torch.utils.data import DataLoader from torchvision import datasets from torchvision.transforms import ToTensor import matplotlib.pyplot as plt training_data = datasets.FashionMNIST( ? ? root="data", ? ? train=True, ? ? download=True, ? ? transform=ToTensor() ) test_data = datasets.FashionMNIST( ? ? root="data", ? ? train=False, ? ? download=True, ? ? transform=ToTensor() )
我們接下來(lái)定義Dataloader對(duì)象用于加載這兩個(gè)數(shù)據(jù)集：
train_dataloader = DataLoader(training_data, batch_size=64, shuffle=True) test_dataloader = DataLoader(test_data, batch_size=64, shuffle=True)
那么這個(gè)train_dataloader究竟是什么類(lèi)型呢？
print(type(train_dataloader)) ?# <class 'torch.utils.data.dataloader.DataLoader'>
我們可以將先其轉(zhuǎn)換為迭代器類(lèi)型。
print(type(iter(train_dataloader)))# <class 'torch.utils.data.dataloader._SingleProcessDataLoaderIter'>
然后再使用next(iter(train_dataloader))從迭代器里取數(shù)據(jù)，如下所示：
train_features, train_labels = next(iter(train_dataloader))
print(f"Feature batch shape: {train_features.size()}")
print(f"Labels batch shape: {train_labels.size()}")
img = train_features[0].squeeze()
label = train_labels[0]
plt.imshow(img, cmap="gray")
plt.show()
print(f"Label: {label}")可以看到我們成功獲取了數(shù)據(jù)集中第一張圖片的信息，控制臺(tái)打?。?/strong>
Feature batch shape: torch.Size([64, 1, 28, 28]) Labels batch shape: torch.Size([64]) Label: 2
圖片可視化顯示如下：
不過(guò)有讀者可能就會(huì)產(chǎn)生疑問(wèn)，很多時(shí)候我們并沒(méi)有將DataLoader類(lèi)型強(qiáng)制轉(zhuǎn)換成迭代器類(lèi)型呀，大多數(shù)時(shí)候我們會(huì)寫(xiě)如下代碼：
for train_features, train_labels in train_dataloader:?
? ? print(train_features.shape) # torch.Size([64, 1, 28, 28])
? ? print(train_features[0].shape) # torch.Size([1, 28, 28])
? ? print(train_features[0].squeeze().shape) # torch.Size([28, 28])
? ??
? ? img = train_features[0].squeeze()
? ? label = train_labels[0]
? ? plt.imshow(img, cmap="gray")
? ? plt.show()
? ? print(f"Label: {label}")可以看到，該代碼也能夠正常迭代訓(xùn)練數(shù)據(jù)，前三個(gè)樣本的控制臺(tái)打印輸出為：
torch.Size([64, 1, 28, 28]) torch.Size([1, 28, 28]) torch.Size([28, 28]) Label: 7 torch.Size([64, 1, 28, 28]) torch.Size([1, 28, 28]) torch.Size([28, 28]) Label: 4 torch.Size([64, 1, 28, 28]) torch.Size([1, 28, 28]) torch.Size([28, 28]) Label: 1
那么為什么我們這里沒(méi)有顯式將Dataloader轉(zhuǎn)換為迭代器類(lèi)型呢，其實(shí)是Python語(yǔ)言for循環(huán)的一種機(jī)制，一旦我們用for ... in ...句式來(lái)迭代一個(gè)對(duì)象，那么Python解釋器就會(huì)偷偷地自動(dòng)幫我們創(chuàng)建好迭代器，也就是說(shuō)
for train_features, train_labels in train_dataloader:
實(shí)際上等同于
for train_features, train_labels in iter(train_dataloader):
更進(jìn)一步，這實(shí)際上等同于
train_iterator = iter(train_dataloader) try: ? ? while True: ? ? ? ? train_features, train_labels = next(train_iterator) except StopIteration: ? ? pass
推而廣之，我們?cè)谟肞ython迭代直接迭代列表時(shí)：
for x in [1, 2, 3, 4]:
其實(shí)Python解釋器已經(jīng)為我們隱式轉(zhuǎn)換為迭代器了：
list_iterator = iter([1, 2, 3, 4]) try: ? ? while True: ? ? ? ? x = next(list_iterator) except StopIteration: ? ? pass
到此這篇關(guān)于torch.utils.data.DataLoader與迭代器轉(zhuǎn)換操作的文章就介紹到這了,更多相關(guān)torch.utils.data.DataLoader與迭代器轉(zhuǎn)換內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python3 deque 雙向隊(duì)列創(chuàng)建與使用方法分析
這篇文章主要介紹了python3 deque 雙向隊(duì)列創(chuàng)建與使用方法,結(jié)合實(shí)例形式分析了python3 deque 雙向隊(duì)列創(chuàng)建、添加、清空、拷貝等相關(guān)操作技巧與使用注意事項(xiàng),需要的朋友可以參考下2020-03-03
Python 獲取numpy.array索引值的實(shí)例
今天小編就為大家分享一篇Python 獲取numpy.array索引值的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-12-12
Python datatime庫(kù)語(yǔ)法使用詳解
這篇文章主要介紹了Python datatime庫(kù)語(yǔ)法使用詳解，datetime模塊用于是date和time模塊的合集，文章圍繞相關(guān)資料展開(kāi)詳情，感興趣的小伙伴可以擦參考一下2022-07-07
這篇文章主要介紹了Python編程中的字符串,包括字符串的格式化與三引號(hào)的使用等,需要的朋友可以參考下2015-10-10
Python利用手勢(shì)識(shí)別實(shí)現(xiàn)貪吃蛇游戲
想必大家都玩過(guò)貪吃蛇的游戲吧：通過(guò)操縱蛇的移動(dòng)方向能夠讓蛇吃到隨機(jī)出現(xiàn)的食物，吃到的食物越多，蛇就會(huì)變得越長(zhǎng)。本文將使用手勢(shì)識(shí)別來(lái)完成貪吃蛇這個(gè)簡(jiǎn)單的游戲，感興趣的可以了解一下2022-04-04
Django使用unittest模塊進(jìn)行單元測(cè)試過(guò)程解析
這篇文章主要介紹了Django使用unittest模塊進(jìn)行單元測(cè)試過(guò)程解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-08-08
簡(jiǎn)單了解python中的f.b.u.r函數(shù)
這篇文章主要介紹了簡(jiǎn)單了解python中的f.b.u.r函數(shù),文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-11-11
windows系統(tǒng)IIS部署Django項(xiàng)目的實(shí)踐
采用IIS服務(wù)器部署相比django提供的開(kāi)發(fā)者服務(wù)器具有更好的并發(fā)訪問(wèn)能力，性能更加穩(wěn)定，本文主要介紹了windows系統(tǒng)IIS部署Django項(xiàng)目的實(shí)踐，具有一定的參考價(jià)值，感興趣的可以了解一下2022-03-03
相信大家都想把自己完成的項(xiàng)目打包成EXE應(yīng)用文件,然后就可以放在桌面隨時(shí)都能運(yùn)行了,下面來(lái)分享利用pytinstaller這個(gè)第三方庫(kù)來(lái)打包程序，感興趣的朋友跟隨小編一起看看吧2019-05-05
python圖片驗(yàn)證碼識(shí)別最新模塊muggle_ocr的示例代碼
這篇文章主要介紹了python圖片驗(yàn)證碼識(shí)別最新模塊muggle_ocr的相關(guān)知識(shí)，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-07-07