from torch.utils.data import Dataset, DataLoader
import torch

class MyDataset(Dataset):
? ? """
? ? ? ? 下載數(shù)據(jù)、初始化數(shù)據(jù)，都可以在這里完成
? ? """

? ? def __init__(self):
? ? ? ? self.x = torch.linspace(11,20,10)
? ? ? ? self.y = torch.linspace(1,10,10)
? ? ? ? self.len = len(self.x)

? ? def __getitem__(self, index):
? ? ? ? return self.x[index], self.y[index]

? ? def __len__(self):
? ? ? ? return self.len


# 實(shí)例化這個(gè)類，然后我們就得到了Dataset類型的數(shù)據(jù)，記下來(lái)就將這個(gè)類傳給DataLoader，就可以了。
mydataset = MyDataset()#[return:
# ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?# (tensor(x1),tensor(y1));
# ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?# (tensor(x2),tensor(y2));
# ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?# ......

train_loader2 = DataLoader(dataset=mydataset,
? ? ? ? ? ? ? ? ? ? ? ? ? ?batch_size=5,
? ? ? ? ? ? ? ? ? ? ? ? ? ?shuffle=False)

for epoch in range(3): ?# 訓(xùn)練所有!整套!數(shù)據(jù) 3 次
? ? for step,(batch_x,batch_y) in enumerate(train_loader2): ?# 每一步 loader 釋放一小批數(shù)據(jù)用來(lái)學(xué)習(xí)
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #return:
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #(tensor(x1,x2,x3,x4,x5),tensor(y1,y2,y3,y4,y5))
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? #(tensor(x6,x7,x8,x9,x10),tensor(y6,y7,y8,y9,y10))
? ? ? ? # 假設(shè)這里就是你訓(xùn)練的地方...

? ? ? ? # 打出來(lái)一些數(shù)據(jù)
? ? ? ? print('Epoch: ', epoch, '| Step:', step, '| batch x: ', batch_x.numpy(), '| batch y: ', batch_y.numpy())

torchvision.datasets.CIFAR10("./dataset", train=False, transform=torchvision.transforms.ToTensor())

root (string)： 表示數(shù)據(jù)集的根目錄，其中根目錄存在CIFAR10/processed/training.pt和CIFAR10/processed/test.pt的子目錄
train (bool, optional)： 如果為True，則從training.pt創(chuàng)建數(shù)據(jù)集，否則從test.pt創(chuàng)建數(shù)據(jù)集
download (bool, optional)： 如果為True，則從internet下載數(shù)據(jù)集并將其放入根目錄。如果數(shù)據(jù)集已下載，則不會(huì)再次下載
transform (callable, optional)： 接收PIL圖片并返回轉(zhuǎn)換后版本圖片的轉(zhuǎn)換函數(shù)
target_transform (callable, optional)： 接收PIL接收目標(biāo)并對(duì)其進(jìn)行變換的轉(zhuǎn)換函數(shù)

import torchvision

# 準(zhǔn)備的測(cè)試數(shù)據(jù)集
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWriter

test_data = torchvision.datasets.CIFAR10("./dataset", train=False, transform=torchvision.transforms.ToTensor())

test_loader = DataLoader(dataset=test_data, batch_size=64, shuffle=True, num_workers=0, drop_last=True)

# 測(cè)試數(shù)據(jù)集中第一張圖片及target
img, target = test_data[0]
print(img.shape)
print(target)

writer = SummaryWriter("dataloader")
for epoch in range(2):
? ? step = 0
? ? for data in test_loader:
? ? ? ? imgs, targets = data
? ? ? ? # print(imgs.shape)
? ? ? ? # print(targets)
? ? ? ? writer.add_images("Epoch: {}".format(epoch), imgs, step)
? ? ? ? step = step + 1

writer.close()

root/dog/xxx.png
root/dog/xxy.png
root/dog/xxz.png

root/cat/123.png
root/cat/nsdf3.png
root/cat/asd932_.png

torchvision.datasets.ImageFolder(root="root folder path", [transform, target_transform])

orig_set = torchvision.datasets.Imagefolder('dataset/') ?# your dataset
n = len(orig_set) ?# total number of examples
n_test = int(0.1 * n) ?# take ~10% for test
test_set = torch.utils.data.Subset(orig_set, range(n_test)) ?# take first 10%
train_set = torch.utils.data.Subset(orig_set, range(n_test, n)) ?# take the rest?