先粘報(bào)錯(cuò)信息

Traceback (most recent call last): File “train.py”, line 169, in
train_test() File “train.py”, line 29, in train_test
dataloader_train = DataLoader(dataset_train, batch_size=batch_size, shuffle=True, pin_memory=True, drop_last=False)
File “/data3/anaconda3/lib/python3.8/site-packages/torch/utils/data/dataloader.py”,
line 270, in init
sampler = RandomSampler(dataset, generator=generator) # type: ignore[arg-type]
File “/data3/anaconda3/lib/python3.8/site-packages/torch/utils/data/sampler.py”,
line 102, in init
raise ValueError("num_samples should be a positive integer "
ValueError: num_samples should be a positive integer value, but got num_samples=0

在使用pytorch訓(xùn)練模型時(shí)，同樣的代碼在Windows下可以正常訓(xùn)練，但在Linux下卻會(huì)出現(xiàn)以上報(bào)錯(cuò)。

網(wǎng)上查閱相關(guān)資料，解決辦法是完全相同的

出現(xiàn)的問題的地方可能是如下的地方

調(diào)用DataLoder時(shí)注意參數(shù)

self.train_dataloader = DataLoader(train_dataset,
batch_size=TrainOption.train_batch_size, shuffle=TRUE,
num_workers=TrainOption.data_load_worker_num)

shuffle的參數(shù)設(shè)置錯(cuò)誤導(dǎo)致，

因?yàn)橐呀?jīng)有batch_sample了，就不需要shuffle來進(jìn)行隨機(jī)的sample了，所以在這里的shuffle應(yīng)該設(shè)置為FALSE才對。

但我這里并未使用batch_sample，因此不是上述原因。

經(jīng)查發(fā)現(xiàn)

由于兩系統(tǒng)下目錄地址的格式不同，

因此直接從windows移植過來的代碼不能在指定目錄下正常讀取數(shù)據(jù)，

且代碼未設(shè)置sample讀取個(gè)數(shù)為0時(shí)報(bào)錯(cuò)，

導(dǎo)致dataset返回長度為0，小于batch_size，因此出現(xiàn)上述報(bào)錯(cuò)。

出現(xiàn)上述問題時(shí)，如未使用batch_sample，可首先檢查dataset.len()是否正常。

總結(jié)

因多次出現(xiàn)上述問題，故記錄。

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

最新評論