最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Tensorflow分批量讀取數(shù)據(jù)教程

 更新時間:2020年02月07日 11:26:14   作者:freedom098  
今天小編就為大家分享一篇Tensorflow分批量讀取數(shù)據(jù)教程,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

之前的博客里使用tf讀取數(shù)據(jù)都是每次fetch一條記錄,實際上大部分時候需要fetch到一個batch的小批量數(shù)據(jù),在tf中這一操作的明顯變化就是tensor的rank發(fā)生了變化,我目前使用的人臉數(shù)據(jù)集是灰度圖像,因此大小是92*112的,所以最開始fetch拿到的圖像數(shù)據(jù)集經(jīng)過reshape之后就是一個rank為2的tensor,大小是92*112的(如果考慮通道,也可以reshape為rank為3的,即92*112*1)。如果加入batch,比如batch大小為5,那么拿到的tensor的rank就變成了3,大小為5*92*112。

下面規(guī)則化的寫一下讀取數(shù)據(jù)的一般流程,按照官網(wǎng)的實例,一般把讀取數(shù)據(jù)拆分成兩個大部分,一個是函數(shù)專門負責(zé)讀取數(shù)據(jù)和解碼數(shù)據(jù),一個函數(shù)則負責(zé)生產(chǎn)batch。

import tensorflow as tf

def read_data(fileNameQue):

  reader = tf.TFRecordReader()
  key, value = reader.read(fileNameQue)
  features = tf.parse_single_example(value, features={'label': tf.FixedLenFeature([], tf.int64),
                            'img': tf.FixedLenFeature([], tf.string),})
  img = tf.decode_raw(features["img"], tf.uint8)
  img = tf.reshape(img, [92,112]) # 恢復(fù)圖像原始大小
  label = tf.cast(features["label"], tf.int32)

  return img, label

def batch_input(filename, batchSize):

  fileNameQue = tf.train.string_input_producer([filename], shuffle=True)
  img, label = read_data(fileNameQue) # fetch圖像和label
  min_after_dequeue = 1000
  capacity = min_after_dequeue+3*batchSize
  # 預(yù)取圖像和label并隨機打亂,組成batch,此時tensor rank發(fā)生了變化,多了一個batch大小的維度
  exampleBatch,labelBatch = tf.train.shuffle_batch([img, label],batch_size=batchSize, capacity=capacity,
                           min_after_dequeue=min_after_dequeue)
  return exampleBatch,labelBatch

if __name__ == "__main__":

  init = tf.initialize_all_variables()
  exampleBatch, labelBatch = batch_input("./data/faceTF.tfrecords", batchSize=10)

  with tf.Session() as sess:

    sess.run(init)
    coord = tf.train.Coordinator()
    threads = tf.train.start_queue_runners(coord=coord)

    for i in range(100):
      example, label = sess.run([exampleBatch, labelBatch])
      print(example.shape)

    coord.request_stop()
    coord.join(threads)

讀取數(shù)據(jù)和解碼數(shù)據(jù)與之前基本相同,針對不同格式數(shù)據(jù)集使用不同閱讀器和解碼器即可,后面是產(chǎn)生batch,核心是tf.train.shuffle_batch這個函數(shù),它相當(dāng)于一個蓄水池的功能,第一個參數(shù)代表蓄水池的入水口,也就是逐個讀取到的記錄,batch_size自然就是batch的大小了,capacity是蓄水池的容量,表示能容納多少個樣本,min_after_dequeue是指出隊操作后還可以供隨機采樣出批量數(shù)據(jù)的樣本池大小,顯然,capacity要大于min_after_dequeue,官網(wǎng)推薦:min_after_dequeue + (num_threads + a small safety margin) * batch_size,還有一個參數(shù)就是num_threads,表示所用線程數(shù)目。

min_after_dequeue這個值越大,隨機采樣的效果越好,但是消耗的內(nèi)存也越大。

以上這篇Tensorflow分批量讀取數(shù)據(jù)教程就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • python爬蟲之生活常識解答機器人

    python爬蟲之生活常識解答機器人

    這篇文章主要介紹了python爬蟲之生活常識解答機器人,文中有非常詳細的代碼示例,對正在學(xué)習(xí)python的小伙伴們有非常好的幫助,需要的朋友可以參考下
    2021-04-04
  • 淺析python,PyCharm,Anaconda三者之間的關(guān)系

    淺析python,PyCharm,Anaconda三者之間的關(guān)系

    Python是一種跨平臺的計算機程序設(shè)計語言,簡單來說,python就是類似于C,Java,C++等,一種編程語言。這篇文章主要介紹了淺析python,PyCharm,Anaconda三者之間的關(guān)系,需要的朋友可以參考下
    2019-11-11
  • pymysql的安裝以及操作實戰(zhàn)指南

    pymysql的安裝以及操作實戰(zhàn)指南

    這篇文章主要給大家介紹了關(guān)于pymysql的安裝以及操作的相關(guān)資料,pymsql是Python中操作MySQL的模塊,其使用方法和MySQLdb幾乎相同,文中通過代碼介紹的非常詳細,需要的朋友可以參考下
    2023-11-11
  • 深入分析在Python模塊頂層運行的代碼引起的一個Bug

    深入分析在Python模塊頂層運行的代碼引起的一個Bug

    幾個星期前, 我的同事跑過來, 說發(fā)現(xiàn)一個奇怪的Bug: 在使用Python的subprocess運行子進程時, 當(dāng)子進程運行失敗時居然沒有拋出錯誤!
    2014-07-07
  • python可視化分析的實現(xiàn)(matplotlib、seaborn、ggplot2)

    python可視化分析的實現(xiàn)(matplotlib、seaborn、ggplot2)

    這篇文章主要介紹了python可視化分析的實現(xiàn)(matplotlib、seaborn、ggplot2),文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-02-02
  • Python3實現(xiàn)的爬蟲爬取數(shù)據(jù)并存入mysql數(shù)據(jù)庫操作示例

    Python3實現(xiàn)的爬蟲爬取數(shù)據(jù)并存入mysql數(shù)據(jù)庫操作示例

    這篇文章主要介紹了Python3實現(xiàn)的爬蟲爬取數(shù)據(jù)并存入mysql數(shù)據(jù)庫操作,涉及Python正則爬取數(shù)據(jù)及針對mysql數(shù)據(jù)庫的存儲操作相關(guān)實現(xiàn)技巧,需要的朋友可以參考下
    2018-06-06
  • Python通過Pygame繪制移動的矩形實例代碼

    Python通過Pygame繪制移動的矩形實例代碼

    這篇文章主要介紹了Python通過Pygame繪制移動的矩形實例代碼,具有一定借鑒價值,需要的朋友可以參考下
    2018-01-01
  • Python用二分法求平方根的案例

    Python用二分法求平方根的案例

    這篇文章主要介紹了Python用二分法求平方根的案例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2021-03-03
  • Python pandas遍歷行數(shù)據(jù)的2種方法小結(jié)

    Python pandas遍歷行數(shù)據(jù)的2種方法小結(jié)

    pandas在數(shù)據(jù)處理過程中,除了對整列字段進行處理之外,有時還需求對每一行進行遍歷,本文就來介紹Python pandas遍歷行數(shù)據(jù)的2種方法小結(jié),感興趣的可以了解一下
    2024-03-03
  • python批量生成身份證號到Excel的兩種方法實例

    python批量生成身份證號到Excel的兩種方法實例

    這篇文章主要給大家介紹了關(guān)于python批量生成身份證號到Excel的兩種方法,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2021-01-01

最新評論

松江区| 无极县| 南华县| 海原县| 明溪县| 本溪| 江西省| 蕲春县| 尼玛县| 百色市| 武城县| 巍山| 额尔古纳市| 渭南市| 南华县| 永安市| 克拉玛依市| 南召县| 江华| 辛集市| 德安县| 孝义市| 祥云县| 贵阳市| 乌拉特中旗| 旅游| 阳城县| 吉木萨尔县| 开江县| 仁寿县| 澄城县| 扎兰屯市| 株洲县| 泌阳县| 兴国县| 焦作市| 达孜县| 玉林市| 福州市| 开远市| 兴国县|