最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python3實現(xiàn)zip分卷壓縮過程解析

 更新時間:2019年10月09日 08:31:43   作者:zaxtyson  
這篇文章主要介紹了Python3實現(xiàn)zip分卷壓縮過程解析,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下

使用zipfile庫

查看 官方中文文檔

利用 Python 壓縮 ZIP 文件,我們第一反應(yīng)是使用 zipfile 庫,然而,它的官方文檔中卻明確標注“此模塊目前不能處理分卷 ZIP 文件”,(⊙﹏⊙)

折騰經(jīng)過

翻遍了Google、CSDN、Stackoverflow等平臺均未找到解決方案,最靠譜的是調(diào)用外部解壓程序?qū)崿F(xiàn)分卷壓縮的功能。但是,如何不依靠外部程序?qū)崿F(xiàn)這個功能呢??

于是乎,只能自己慢慢造輪子??粗?ZIP 格式開發(fā)商留下的文檔 ZIP File Format Specification,頭疼?。?;´д`)。于是我拿著 WinHex 開始16進制一個一個文件對比 WinRar 創(chuàng)建的分卷壓縮和單個 zip 文件的差異。最后還真的整出來了( ̄▽ ̄)"

如果想把單個大文件 test.zip -> 分卷文件 test.z01、test.z02、test.zip

首先,在創(chuàng)建的第一個分卷文件 test.z01的前面加上 \x50\x4b\x07\x08 這個是分卷壓縮的文件頭(header),占4個字節(jié)。其實單個壓縮文件本身 header 就有這個了,而分卷壓縮的需要兩個emmm。之后便是從單個大壓縮文件文件test.zip中讀取 "一個分卷大小 -4 個字節(jié)"的數(shù)據(jù),寫入test.z01中,如何接著讀取一個分卷大小的數(shù)據(jù),寫入test.z02,以此類推,最后一個分卷文件名也是test.zip。

Python3的代碼實現(xiàn)

import os
import zipfile


def zip_by_volume(file_path, block_size):
  """zip文件分卷壓縮"""
  file_size = os.path.getsize(file_path) # 文件字節(jié)數(shù)
  path, file_name = os.path.split(file_path) # 除去文件名以外的path,文件名
  suffix = file_name.split('.')[-1] # 文件后綴名
  # 添加到臨時壓縮文件
  zip_file = file_path + '.zip'
  with zipfile.ZipFile(zip_file, 'w') as zf:
    zf.write(file_path, arcname=file_name)
  # 小于分卷尺寸則直接返回壓縮文件路徑
  if file_size <= block_size:
    return zip_file
  else:
    fp = open(zip_file, 'rb')
    count = file_size // block_size + 1
    # 創(chuàng)建分卷壓縮文件的保存路徑
    save_dir = path + os.sep + file_name + '_split'
    if os.path.exists(save_dir):
      from shutil import rmtree
      rmtree(save_dir)
    os.mkdir(save_dir)
    # 拆分壓縮包為分卷文件
    for i in range(1, count + 1):
      _suffix = 'z{:0>2}'.format(i) if i != count else 'zip'
      name = save_dir + os.sep + file_name.replace(str(suffix), _suffix)
      f = open(name, 'wb+')
      if i == 1:
        f.write(b'\x50\x4b\x07\x08') # 添加分卷壓縮header(4字節(jié))
        f.write(fp.read(block_size - 4))
      else:
        f.write(fp.read(block_size))
    fp.close()
    os.remove(zip_file)   # 刪除臨時的 zip 文件  
    return save_dir

if __name__ == '__main__':
  file = r"D:\Downloads\1.mp4"    # 原始文件
  volume_size = 1024 * 1024 * 100 # 分卷大小 100MB
  path = zip_by_volume(file, volume_size)
  print(path)   # 輸出分卷壓縮文件的路徑

缺點

該方法創(chuàng)建分卷壓縮的時候,需要先在磁盤創(chuàng)建一個臨時壓縮包,然后將其拆分,實際上會對磁盤寫入兩次,這就浪費了時間。

當(dāng)然,我嘗試使用 ByteIO 進行字節(jié)流的壓縮,但是這種方式需要先把文件讀入內(nèi)存,對于超級大的文件,這是不現(xiàn)實的,分分鐘內(nèi)存爆炸。

然后,我嘗試使用 io.pipe 的管道來處理,而 zipfile 壓縮需要提供一個 file 或 file-like 對象,這個對象必須實現(xiàn) seek() 和 tell() 方法來回去寫入文件頭信息,然而管道流沒辦法seek回去修改數(shù)據(jù)。這里,參考了Python zipfile + os.pipe()探索記,屏蔽了 seek() 和 tell() 函數(shù)。但是,后面我分卷時需要指定讀取的字節(jié)數(shù),這就需要這兩個函數(shù)。。。我大概知道為什么 zipfile 庫不支持創(chuàng)建分卷文件了〒▽〒

這個庫的作者也沒少掉頭發(fā)。?!,F(xiàn)在就將就一下,這樣用著吧。。。

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

相關(guān)文章

  • Numpy廣播域的理解

    Numpy廣播域的理解

    本文主要介紹了Numpy廣播域的理解,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-03-03
  • K近鄰法(KNN)相關(guān)知識總結(jié)以及如何用python實現(xiàn)

    K近鄰法(KNN)相關(guān)知識總結(jié)以及如何用python實現(xiàn)

    這篇文章主要介紹了K近鄰法(KNN)相關(guān)知識總結(jié)以及如何用python實現(xiàn),幫助大家更好的利用python實現(xiàn)機器學(xué)習(xí),感興趣的朋友可以了解下
    2021-01-01
  • python如何對鏈表操作

    python如何對鏈表操作

    這篇文章主要介紹了python如何對鏈表操作,幫助大家更好的理解和使用python,感興趣的朋友可以了解下
    2020-10-10
  • Python實現(xiàn)代碼統(tǒng)計工具

    Python實現(xiàn)代碼統(tǒng)計工具

    這篇文章主要為大家詳細介紹了Python實現(xiàn)代碼統(tǒng)計工具,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2019-09-09
  • python實現(xiàn)字符串和字典的轉(zhuǎn)換

    python實現(xiàn)字符串和字典的轉(zhuǎn)換

    這篇文章主要為大家詳細介紹了python實現(xiàn)字符串和字典的轉(zhuǎn)換,具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2018-09-09
  • Python實現(xiàn)輕松合并doc為txt的示例代碼

    Python實現(xiàn)輕松合并doc為txt的示例代碼

    這篇文章主要為大家詳細介紹了如何利用Python編程語言和wxPython模塊,打開指定文件夾中的DOC文檔,并將它們的內(nèi)容合并成一個便捷的TXT文檔,需要的可以參考下
    2024-03-03
  • python遍歷小寫英文字母的方法

    python遍歷小寫英文字母的方法

    今天小編就為大家分享一篇python遍歷小寫英文字母的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-01-01
  • python 將html轉(zhuǎn)換為pdf的幾種方法

    python 將html轉(zhuǎn)換為pdf的幾種方法

    這篇文章主要介紹了python 將html轉(zhuǎn)換為pdf的幾種方法,幫助大家更好的理解和使用python,感興趣的朋友可以了解下
    2020-12-12
  • python+selenium實現(xiàn)登錄賬戶后自動點擊的示例

    python+selenium實現(xiàn)登錄賬戶后自動點擊的示例

    本篇文章主要介紹了python+selenium實現(xiàn)登錄賬戶后自動點擊的示例,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧
    2017-12-12
  • Python使用微信SDK實現(xiàn)的微信支付功能示例

    Python使用微信SDK實現(xiàn)的微信支付功能示例

    這篇文章主要介紹了Python使用微信SDK實現(xiàn)的微信支付功能,結(jié)合實例形式分析了Python調(diào)用微信SDK接口實現(xiàn)微信支付功能的具體步驟與相關(guān)操作技巧,需要的朋友可以參考下
    2017-06-06

最新評論

莆田市| 林甸县| 长乐市| 南昌市| 上杭县| 松阳县| 丰原市| 凯里市| 张家界市| 资兴市| 云霄县| 正镶白旗| 综艺| 嵊州市| 万山特区| 张家口市| 定结县| 洪泽县| 望都县| 鄂温| 耒阳市| 新营市| 轮台县| 达尔| 朔州市| 桐城市| 田林县| 连平县| 横山县| 子洲县| 阳西县| 湖州市| 固安县| 墨江| 临洮县| 塔城市| 永善县| 丰顺县| 岳西县| 福贡县| 合江县|