最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

對python數(shù)據(jù)切割歸并算法的實(shí)例講解

 更新時間:2018年12月12日 08:43:07   作者:body_builder  
今天小編就為大家分享一篇對python數(shù)據(jù)切割歸并算法的實(shí)例講解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

當(dāng)一個 .txt 文件的數(shù)據(jù)過于龐大,此時想要對數(shù)據(jù)進(jìn)行排序就需要先將數(shù)據(jù)進(jìn)行切割,然后通過歸并排序,最終實(shí)現(xiàn)對整體數(shù)據(jù)的排序。要實(shí)現(xiàn)這個過程我們需要進(jìn)行以下幾步:獲取總數(shù)據(jù)行數(shù);根據(jù)行數(shù)按照自己的需要對數(shù)據(jù)進(jìn)行切割;對每組數(shù)據(jù)進(jìn)行排序 最后對所有數(shù)據(jù)進(jìn)行歸并排序。

下面我們就來實(shí)現(xiàn)這整個過程:

一:獲取總數(shù)據(jù)的行

def get_file_lines(file_path):
 # 目標(biāo)文件的路徑
 file_path = str(file_path)
 with open(file_path, 'rb') as file:
  # 定義行數(shù)
  i = 0
  while True:
   # 一次讀取一行數(shù)據(jù)
   line = file.readline()
   if not line :
    break
   else:
    # 每讀一行,行數(shù)加一
    i += 1
   #設(shè)置進(jìn)度條,每當(dāng)i讀取1000000行時打印一次i
   # 每當(dāng)讀取1000000的整數(shù)倍行時,打印行數(shù)(進(jìn)度條)
   if i % 1000000 == 0:
    print(i)
  # 打印總行數(shù)
  print(i)
  return i

二:對數(shù)據(jù)進(jìn)行切割

# 定義均等切割函數(shù),num是待切割的文件的行數(shù)的值,n為切割份數(shù),file_path是待切割的文件,file_dir是切割好的文件寫入的目錄
def evg_split(num, n, file_path, file_dir):
 last_list = []
 # 如果樣本剛好可以整除為n份
 if num % n == 0:
  for i in range(n):
   # 則直接將樣本分為n分沒份對應(yīng)num/n個
   last_list.append(num / n)
 # 如果不能整除
 if num % n != 0:
  # 如果不能整除,則先將num整除n-1并取n-1份,余下的單獨(dú)做一份
  evg = (num - num % n) // (n - 1)
  for i in range(n):
   last_list.append(evg)
  last_list.append(num % (n - 1))
 print(last_list)
 # return last_list
 # 對應(yīng)于切割后的每一份數(shù)據(jù)
 with open(file_path, 'rb') as path:
  for i in range(n):
   # 創(chuàng)建臨時文件
   tmp_file = file_dir + str(i) + '.txt'
   # 打開臨時文件,將內(nèi)容一條一條的寫入
   file = open(tmp_file, 'wb')
   for j in range(int(last_list[i])):
    line = path.readline()
    file.write(line)
    print(line)
   print('------------')
   file.close()

三:對每組數(shù)據(jù)進(jìn)行排序的內(nèi)容由讀者根據(jù)自身數(shù)據(jù)需要進(jìn)行排序,下面直接介紹歸并排序

四:歸并排序

def merge( mylist1, mylist2, file1):
 while len(mylist1) > 0 and len(mylist2) > 0:
  if mylist1[0]<mylist2[0]:
   with open(file1,'a') as file:
    file.write(str(mylist1[0]))
    del mylist1[0]
  elif mylist1[0] > mylist2[0]:
   with open(file1,'a') as file:
    file.write(str(mylist2[0]))
    del mylist2[0]
  else:
   with open(file1,'a') as file:
    file.write(str(mylist1[0]))
    file.write(str(mylist2[0]))
    del mylist1[0]
    del mylist2[0]
 with open(file1, 'a') as file:
  for i in mylist1:
   file.write(str(i))
  for i in mylist2:
   file.write(str(i))

總結(jié):對于一個大型數(shù)據(jù)文件,我們可以將其切割成若干個小型的數(shù)據(jù)文件,然后分別的這些小型的數(shù)據(jù)文件進(jìn)行排序,最后使用歸并排序?qū)⑦@些數(shù)據(jù)文件寫入到一個總體文件中,從而實(shí)現(xiàn)了對這個大型數(shù)據(jù)文件的排序。

以上這篇對python數(shù)據(jù)切割歸并算法的實(shí)例講解就是小編分享給大家的全部內(nèi)容了,希望能給大家一個參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • 通過淘寶數(shù)據(jù)爬蟲學(xué)習(xí)python?scrapy?requests與response對象

    通過淘寶數(shù)據(jù)爬蟲學(xué)習(xí)python?scrapy?requests與response對象

    本文主要介紹了通過淘寶數(shù)據(jù)爬蟲學(xué)習(xí)python?scrapy?requests與response對象,首先從Resquest和Response對象開始展開詳細(xì)文章,需要的小伙伴可以參考一下
    2022-05-05
  • pytorch 實(shí)現(xiàn)二分類交叉熵逆樣本頻率權(quán)重

    pytorch 實(shí)現(xiàn)二分類交叉熵逆樣本頻率權(quán)重

    這篇文章主要介紹了pytorch 實(shí)現(xiàn)二分類交叉熵逆樣本頻率權(quán)重的操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-05-05
  • Flask框架利用Echarts實(shí)現(xiàn)繪制圖形

    Flask框架利用Echarts實(shí)現(xiàn)繪制圖形

    echarts是百度推出的一款開源的基于JavaScript的可視化圖表庫,該開發(fā)庫目前發(fā)展非常不錯,且支持各類圖形的繪制可定制程度高。如下演示案例中,將分別展示運(yùn)用該繪圖庫如何前后端交互繪制(餅狀圖,柱狀圖,折線圖)這三種最基本的圖形,需要的可以參考一下
    2022-10-10
  • jupyternotebook 撤銷刪除的操作方式

    jupyternotebook 撤銷刪除的操作方式

    這篇文章主要介紹了jupyternotebook 撤銷刪除的操作方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-04-04
  • 詳解用python -m http.server搭一個簡易的本地局域網(wǎng)

    詳解用python -m http.server搭一個簡易的本地局域網(wǎng)

    這篇文章主要介紹了詳解用python -m http.server搭一個簡易的本地局域網(wǎng),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2020-09-09
  • python3連接kafka模塊pykafka生產(chǎn)者簡單封裝代碼

    python3連接kafka模塊pykafka生產(chǎn)者簡單封裝代碼

    今天小編就為大家分享一篇python3連接kafka模塊pykafka生產(chǎn)者簡單封裝代碼,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2019-12-12
  • pytorch: tensor類型的構(gòu)建與相互轉(zhuǎn)換實(shí)例

    pytorch: tensor類型的構(gòu)建與相互轉(zhuǎn)換實(shí)例

    今天小編就為大家分享一篇pytorch: tensor類型的構(gòu)建與相互轉(zhuǎn)換實(shí)例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2018-07-07
  • python實(shí)現(xiàn)簡易自習(xí)室座位預(yù)約系統(tǒng)

    python實(shí)現(xiàn)簡易自習(xí)室座位預(yù)約系統(tǒng)

    本文將結(jié)合實(shí)例代碼,介紹python實(shí)現(xiàn)簡易自習(xí)室座位預(yù)約系統(tǒng),文中通過示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下
    2021-06-06
  • pytest中fixture函數(shù)使用

    pytest中fixture函數(shù)使用

    本文主要介紹了pytest中fixture函數(shù)使用,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
    2023-02-02
  • Python簡潔強(qiáng)大的ORM框架Peewee的用法詳解

    Python簡潔強(qiáng)大的ORM框架Peewee的用法詳解

    這篇文章主要為大家詳細(xì)介紹了Peewee,它作為一款簡潔且功能強(qiáng)大的?ORM(對象關(guān)系映射)框架,為開發(fā)者提供了高效便捷的數(shù)據(jù)庫交互方式,下面我們來看看它的具體使用吧
    2025-01-01

最新評論

藁城市| 开江县| 慈利县| 西城区| 兴仁县| 鹿泉市| 吉水县| 长宁县| 博爱县| 萨迦县| 土默特左旗| 家居| 托克逊县| 白河县| 双辽市| 杭锦后旗| 嘉兴市| 鸡西市| 张家港市| 邮箱| 绵阳市| 虞城县| 永宁县| 土默特左旗| 定远县| 曲周县| 巴青县| 万源市| 宣恩县| 汾西县| 渑池县| 郸城县| 渭南市| 平和县| 万安县| 南宁市| 定结县| 正安县| 柘城县| 长汀县| 右玉县|