最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python實現(xiàn)的多進程拷貝文件并顯示百分比功能示例

 更新時間:2019年04月09日 10:28:11   作者:xuezhangjun  
這篇文章主要介紹了Python實現(xiàn)的多進程拷貝文件并顯示百分比功能,涉及Python多進程、文件遍歷、拷貝等相關操作技巧,需要的朋友可以參考下

本文實例講述了Python實現(xiàn)的多進程拷貝文件并顯示百分比功能。分享給大家供大家參考,具體如下:

centos7下查看cup核數(shù):

# 總核數(shù) = 物理CPU個數(shù) X 每顆物理CPU的核數(shù)
# 總邏輯CPU數(shù) = 物理CPU個數(shù) X 每顆物理CPU的核數(shù) X 超線程數(shù)
# 查看物理CPU個數(shù)
cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
# 查看每個物理CPU中core的個數(shù)(即核數(shù))
cat /proc/cpuinfo| grep "cpu cores"| uniq
# 查看邏輯CPU的個數(shù)
cat /proc/cpuinfo| grep "processor"| wc -l

本示例拷貝文件采用的是最簡單的但是有最復雜的方式:

1,根據(jù)要拷貝的文件夾名稱,創(chuàng)建一個新的文件夾用來存儲文件

2,讀取源文件夾下的文件內(nèi)容,將其寫入目的文件夾下同名的文件中

直接上代碼:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
def copyFileTask(name, oldFolderName, newFolderName, queue):
  """copy文件"""
  fr = open(oldFolderName+"/"+name)
  fw = open(newFolderName+"/"+name, "w")
  content = fr.read()
  fw.write(content)
  fr.close()
  fw.close()
  # 將copy完成的文件名稱put進隊列
  queue.put(name)
def main():
  try:
    # 0. 獲取要copy的文件夾
    # oldFolderName = input("請輸入文件夾的名字:") # python3
    oldFolderName = raw_input("請輸入文件夾的名字:") # python2
    # 1. 創(chuàng)建一個新的文件夾
    print 'mkdir new file ------'
    newFolderName = str(oldFolderName) + "-copy"
    # print(newFolderName)
    os.mkdir(newFolderName)
    # 2. 獲取old文件夾中的所有的文件名字
    fileNames = os.listdir(oldFolderName)
    # print(fileNames)
    # 3. 使用多進程的方式copy 原文件夾中的所有文件到新的文件夾中
    pool = Pool(5)
    # 創(chuàng)建一個隊列
    queue = Manager().Queue()
    for name in fileNames:
      pool.apply_async(copyFileTask, args=(name, oldFolderName, newFolderName, queue))
    pool.close() # 關閉進程池,不再接受請求
    pool.join() # 等待所有的子進程結束
    num = 0
    # 需要copy的文件總數(shù)
    allNum = len(fileNames)
    while num < allNum:
      # 收數(shù)據(jù)
      queue.get()
      num += 1
      copyRate = float(num) / allNum
      # 打印copy的進度
      time.sleep(0.1) # 容易看出來打印百分比的變化,延長百分比更新的時間
      print "\rcopy的進度是:%.2f%%" % (copyRate*100),
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

下面采用python模塊shutil模塊進行copy操作:

# coding=utf-8
from multiprocessing import Pool, Manager
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷貝文件
  # shitil.move(src_path, dst_path) # 移動文件
  # 將copy完成的文件名稱put進隊列
  queue.put(name)
def main():
  try:
    # 0. 獲取要copy的文件夾
    oldFolderName = raw_input("請輸入文件夾的名字:")
    print '要拷貝的源文件夾: ', oldFolderName
    # 1. 創(chuàng)建一個新的文件夾
    newFolderName = raw_input("請輸入文件夾的名字:")
    print '目標文件夾:', newFolderName
    # 獲取當前所在的路徑
    now_path = os.getcwd()
    print "當前所在路徑: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夾路徑: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目標文件夾路徑: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    # 3. 使用多進程的方式copy 原文件夾中的所有文件到新的文件夾中
    pool = Pool(5) # 創(chuàng)建5條進程
    queue = Manager().Queue() # 創(chuàng)建一個隊列
    # 遍歷源文件夾
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是當前正在遍歷的這個文件夾的本身的地址
      dirs 是一個 list ,內(nèi)容是該文件夾中所有的目錄的名字(不包括子目錄)
      files 同樣是 list , 內(nèi)容是該文件夾中所有的文件(不包括子目錄)
      """
      print '源文件夾下的文件數(shù)量::', len(files)
      s_t = time.time()
      for file in files:
        pool.apply_async(copyFileTask, args=(file, old_path, new_path, queue)) # 向進程池中添加任務
      pool.close() # 關閉進程池,不再接受請求
      pool.join() # 等待所有的子進程結束
      print '耗時:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件總數(shù)
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收數(shù)據(jù)
        # print '收數(shù)據(jù) ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的進度
        print "\rcopy的進度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

輸出:(由于我的cup核數(shù)為1核,在使用多進程的過程中,操作系統(tǒng)在輪詢的時候,頻繁的切換任務,浪費時間導致多進程比單進程耗時更長。)

[root@centos7 mnt]# python copy_file_test.py
請輸入文件夾的名字:hdfs
要拷貝的源文件夾:  hdfs
請輸入文件夾的名字:test01
目標文件夾: test01
當前所在路徑:  /mnt
源文件夾路徑:  /mnt/hdfs
目標文件夾路徑:  /mnt/test01
源文件夾下的文件數(shù)量:: 8165
耗時:253.655323982 秒
len(fileNames) =  8165
copy的進度是:100.00%
copy success ------

單進程拷貝文件:

# coding=utf-8
from Queue import Queue
import os
import traceback
import time
import shutil
def copyFileTask(name, old_path, new_path, queue):
  """copy文件"""
  src_path = os.path.join(old_path, name)
  dst_path = os.path.join(new_path, name)
  shutil.copy(src_path, dst_path) # 拷貝文件
  # shitil.move(src_path, dst_path) # 移動文件
  # 將copy完成的文件名稱put進隊列
  queue.put(name)
def main():
  try:
    # 0. 獲取要copy的文件夾
    oldFolderName = raw_input("請輸入文件夾的名字:")
    print '要拷貝的源文件夾: ', oldFolderName
    # 1. 創(chuàng)建一個新的文件夾
    newFolderName = raw_input("請輸入文件夾的名字:")
    print '目標文件夾:', newFolderName
    # 獲取當前所在的路徑
    now_path = os.getcwd()
    print "當前所在路徑: ", now_path
    old_path = os.path.join(now_path, oldFolderName)
    print '源文件夾路徑: ', old_path
    new_path = os.path.join(now_path, newFolderName)
    print '目標文件夾路徑: ', new_path
    if not os.path.exists(new_path):
      os.mkdir(new_path)
    queue = Queue() # 創(chuàng)建一個隊列
    # 遍歷源文件夾
    for root, dirs, files in os.walk(oldFolderName):
      """
      root 所指的是當前正在遍歷的這個文件夾的本身的地址
      dirs 是一個 list ,內(nèi)容是該文件夾中所有的目錄的名字(不包括子目錄)
      files 同樣是 list , 內(nèi)容是該文件夾中所有的文件(不包括子目錄)
      """
      print '源文件夾下的文件數(shù)量::', len(files)
      s_t = time.time()
      # 調(diào)用函數(shù)拷貝文件
      for file in files:
        copyFileTask(file, old_path, new_path, queue)
      print '耗時:{} 秒'.format(time.time() - s_t)
      num = 0
      # 需要copy的文件總數(shù)
      allNum = len(files)
      print 'len(fileNames) = ', allNum
      while True:
        # 收數(shù)據(jù)
        # print '收數(shù)據(jù) ------'
        queue.get()
        # print 'queue.get() ------', queue.get()
        num += 1
        copyRate = float(num) / allNum
        # 打印copy的進度
        print "\rcopy的進度是:%.2f%%" % (copyRate*100),
        if num == allNum:
          break
    print "\ncopy success ------"
  except:
    traceback.print_exc()
if __name__ == "__main__":
  main()

輸出:

[root@centos7 mnt]# python copy_file_test_dan.py
請輸入文件夾的名字:hdfs
要拷貝的源文件夾:  hdfs
請輸入文件夾的名字:test02
目標文件夾: test02
當前所在路徑:  /mnt
源文件夾路徑:  /mnt/hdfs
目標文件夾路徑:  /mnt/test02
源文件夾下的文件數(shù)量:: 8165
耗時:122.284090996 秒
len(fileNames) =  8165
copy的進度是:100.00%
copy success ------

我的虛擬機cpu核數(shù):1

如下:

[root@centos7 mnt]# cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l
1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "cpu cores"| uniq
cpu cores : 1
[root@centos7 mnt]# cat /proc/cpuinfo| grep "processor"| wc -l
1

更多關于Python相關內(nèi)容感興趣的讀者可查看本站專題:《Python文件與目錄操作技巧匯總》、《Python文本文件操作技巧匯總》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》及《Python入門與進階經(jīng)典教程

希望本文所述對大家Python程序設計有所幫助。

相關文章

  • Python找出微信上刪除你好友的人腳本寫法

    Python找出微信上刪除你好友的人腳本寫法

    在本篇文章中我們給大家分享了Python找出微信上刪除你好友的人腳本寫法以及相關實例代碼,有需要的朋友們參考下。
    2018-11-11
  • python反轉字符串的七種解法總結

    python反轉字符串的七種解法總結

    這篇文章主要介紹了反轉字符串的多種方法,包括雙指針、棧結構、range函數(shù)、reversed函數(shù)、切片、列表推導和reverse()函數(shù),每種方法都有其特點和適用場景,需要的朋友可以參考下
    2025-01-01
  • Python內(nèi)建類型list源碼學習

    Python內(nèi)建類型list源碼學習

    這篇文章主要為大家介紹了Python內(nèi)建類型list源碼學習,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
    2022-05-05
  • python字典序問題實例

    python字典序問題實例

    這篇文章主要介紹了python字典序問題,是字符串操作一個比較典型的應用,需要的朋友可以參考下
    2014-09-09
  • Python爬蟲基本庫request的基本使用

    Python爬蟲基本庫request的基本使用

    這篇文章主要介紹了Python爬蟲基本庫request的基本使用,urllib庫使用繁瑣,比如處理網(wǎng)頁驗證和Cookies時,需要編寫Opener和Handler來處理。為了更加方便的實現(xiàn)這些操作,就有了更為強大的requests庫,需要的朋友可以參考下
    2023-07-07
  • Python標準庫之time庫的使用教程詳解

    Python標準庫之time庫的使用教程詳解

    這篇文章主要介紹了Python的time庫的使用教程,文中有非常詳細的代碼示例,對正在學習python基礎的小伙伴們有非常好的幫助,需要的朋友可以參考下
    2022-04-04
  • 在python 中split()使用多符號分割的例子

    在python 中split()使用多符號分割的例子

    今天小編就為大家分享一篇在python 中split()使用多符號分割的例子,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-07-07
  • Python中的urllib庫高級用法教程

    Python中的urllib庫高級用法教程

    這篇文章主要介紹了Python中的urllib庫高級用法教程,想要請求需要設置一些請求頭,如果要在請求的時候增加一些請求頭,那么就必須使用request.Request類來實現(xiàn)了,比如要增加一個 User-Agent ,增加一個 Referer 頭信息等,需要的朋友可以參考下
    2023-10-10
  • 基于python內(nèi)置函數(shù)與匿名函數(shù)詳解

    基于python內(nèi)置函數(shù)與匿名函數(shù)詳解

    下面小編就為大家分享一篇基于python內(nèi)置函數(shù)與匿名函數(shù)詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-01-01
  • Python數(shù)據(jù)結構之循環(huán)鏈表詳解

    Python數(shù)據(jù)結構之循環(huán)鏈表詳解

    循環(huán)鏈表 (Circular Linked List) 是鏈式存儲結構的另一種形式,它將鏈表中最后一個結點的指針指向鏈表的頭結點,使整個鏈表頭尾相接形成一個環(huán)形,使鏈表的操作更加方便靈活。本文將詳細介紹一下循環(huán)鏈表的相關知識,需要的可以參考一下
    2022-01-01

最新評論

南漳县| 崇州市| 蒙山县| 武宁县| 乐都县| 石楼县| 安丘市| 莲花县| 浮梁县| 东山县| 海门市| 大港区| 桃园县| 惠水县| 兴安县| 城口县| 望奎县| 新源县| 织金县| 汝阳县| 健康| 安西县| 山丹县| 华容县| 晋城| 万宁市| 霸州市| 昭平县| 新闻| 拉孜县| 无锡市| 昭通市| 洪泽县| 廉江市| 唐海县| 莒南县| 陕西省| 顺义区| 蒙山县| 丽江市| 广平县|