快捷導(dǎo)航

Tensorflow加載與預(yù)處理數(shù)據(jù)詳解實(shí)現(xiàn)方法

更新時(shí)間：2022年11月21日 11:20:05 作者：沐兮Krystal

讀取大型數(shù)據(jù)集并對其進(jìn)行有效預(yù)處理可能對其他深度學(xué)習(xí)庫來說很難實(shí)現(xiàn)，但是TensorFlow借助Data API很容易實(shí)現(xiàn)：只需創(chuàng)建一個(gè)數(shù)據(jù)集對象，并告訴它如何從何處獲取數(shù)據(jù)以及如何對其進(jìn)行轉(zhuǎn)換

數(shù)據(jù)API

數(shù)據(jù)集方法不會(huì)修改數(shù)據(jù)集，而是創(chuàng)建新數(shù)據(jù)集。

可通過調(diào)用 map() 方法將轉(zhuǎn)換應(yīng)用于每個(gè)元素：

dataset = dataset.map(lambda x: x * 2)

亂序數(shù)據(jù)

交織來自多個(gè)文件的行

list_files() 函數(shù)返回一個(gè)亂序的文件路徑的數(shù)據(jù)集。

filepath_dataset = tf.data.Dataset.list_files(train_filepaths, seed=42)

一次讀取5個(gè)文件，并交織它們的行。

n_readers = 5
dataset = filepath_dataset.interleave(
	lambda filepath: tf.data.TextLineDataset(filepath).skip(1),
	cycle_length=n_readers)

預(yù)處理數(shù)據(jù)

X_mean, X_std = [...] # 每個(gè)特征的均值和標(biāo)準(zhǔn)差
n_inputs = 8 # 對應(yīng)8個(gè)特征
def preprocess(line):
	defs = [0.] * n_inputs + [tf.constant([], dtype=tf.float32)] # 包含csv中每一列的默認(rèn)值的數(shù)組
	fields = tf.io.decode_csv(line, record_defaults=defs) 
	# line 是要解析的行，record_defaults 是一個(gè)包含CSV文件每一列的默認(rèn)值的數(shù)組
	x = tf.stack(fields[:-1])
	y = tf.stack(fields[-1:])
	return (x - X_mean) / X_std, y

我們在除最后一個(gè)（目標(biāo)值）之外的所有張量上調(diào)用 tf.stack() ，從而將這些張量堆疊到一維度組中。然后對目標(biāo)值執(zhí)行相同的操作。

合并在一起

def csv_reader_dataset(filepaths, repeat=1, n_readers=5,
					   n_read_threads=None, shuffle_buffer_size=10000,
					   n_parse_threads=5, batch_size=32):
	dataset = tf.data.Dataset.list_files(filepaths)
	dataset = filepath_dataset.interleave(
		lambda filepath: tf.data.TextLineDataset(filepath).skip(1),
		cycle_length=n_readers, num_parallel_calls=n_read_threads)
	dataset = dataset.map(preprocess, num_parallel_calls=n_parse_threads)
	dataset = dataset.shuffle(shuffle_buffer_size).repeat(repeat)
	return dataset.batch(batch_size).prefetch(1)

到此這篇關(guān)于Tensorflow加載與預(yù)處理數(shù)據(jù)詳解實(shí)現(xiàn)方法的文章就介紹到這了,更多相關(guān)Tensorflow加載與預(yù)處理內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

Scrapy將數(shù)據(jù)保存到Excel和MySQL中的方法實(shí)現(xiàn)
本文主要介紹了Scrapy將數(shù)據(jù)保存到Excel和MySQL中的方法實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-02-02
使用Selenium實(shí)現(xiàn)微博爬蟲(預(yù)登錄、展開全文、翻頁)
這篇文章主要介紹了使用Selenium實(shí)現(xiàn)微博爬蟲(預(yù)登錄、展開全文、翻頁),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-04-04
Python爬取微信小程序Charles實(shí)現(xiàn)過程圖解
這篇文章主要介紹了Python爬取微信小程序Charles實(shí)現(xiàn)過程圖解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2020-09-09
python tkinter庫實(shí)現(xiàn)氣泡屏保和鎖屏
這篇文章主要為大家詳細(xì)介紹了python tkinter庫實(shí)現(xiàn)氣泡屏保和鎖屏，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2019-07-07
解決flask接口返回的內(nèi)容中文亂碼的問題
這篇文章主要介紹了解決flask接口返回的內(nèi)容中文亂碼的問題，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
Python中匹配模糊的字符串問題分析
這篇文章主要介紹了Python中匹配模糊的字符串的過程,我們將學(xué)習(xí)如何使用process 模塊,該模塊允許我們在模糊字符串邏輯的幫助下有效地匹配或提取字符串,需要的朋友可以參考下
2023-09-09
通過python實(shí)現(xiàn)隨機(jī)交換禮物程序詳解
這篇文章主要介紹了通過python實(shí)現(xiàn)隨機(jī)交換禮物程序詳解的,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-07-07
python異步的ASGI與Fast Api實(shí)現(xiàn)
本文主要介紹了python異步的ASGI與Fast Api實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-07-07
關(guān)于Python 中的時(shí)間處理包datetime和arrow的方法詳解
這篇文章主要介紹了關(guān)于Python 中的時(shí)間處理包datetime和arrow的相關(guān)知識(shí)，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下
2020-03-03
Pygame中畫圓弧的方法
本文主要介紹了Pygame中畫圓弧的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-04-04