快捷導(dǎo)航

Python 等分切分?jǐn)?shù)據(jù)及規(guī)則命名的實(shí)例代碼

更新時(shí)間：2019年08月16日 16:20:58 作者：Mr-Lin

這篇文章主要介紹了Python 等分切分?jǐn)?shù)據(jù)及規(guī)則命名的實(shí)例代碼，代碼簡(jiǎn)單易懂，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下

將一份一億多條數(shù)據(jù)的csv文件等分為10份，代碼如下所示：

import pandas as pd
data = pd.read_csv('C:\\Users\\PycharmProjects\\SplitData\\data\\UserBehavior.csv') # 路徑則根據(jù)個(gè)人存放項(xiàng)目文件的習(xí)慣
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False) # index=False是不想切分后的文件出現(xiàn)序號(hào)

注意：如果此時(shí)文件的路徑包含有中文，則必須改成以下的代碼：

import pandas as pd
f = open('C:\\Users\\PycharmProjects\\數(shù)據(jù)切分\\data\\UserBehavior.csv')
data = pd.read_csv(f)
num = 0
for i in range(1, 11):
start = num
num = num + int(data.shape[0] / 10)
file = data.iloc[start:num,]
file.to_csv("C:\\Users\\PycharmProjects\\SplitData\\newData\\" + str(i) + "_data.csv", index=False)

但是使用這種方法調(diào)用文件進(jìn)內(nèi)存，加重了內(nèi)存的負(fù)擔(dān)，兩次賦值相當(dāng)于內(nèi)存占用乘2，此方法不建議使用，還是將路徑改為英文名。

總結(jié)

以上所述是小編給大家介紹的Python 等分切分?jǐn)?shù)據(jù)及規(guī)則命名的實(shí)例代碼,希望對(duì)大家有所幫助，如果大家有任何疑問(wèn)請(qǐng)給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持！
如果你覺(jué)得本文對(duì)你有幫助，歡迎轉(zhuǎn)載，煩請(qǐng)注明出處，謝謝！

您可能感興趣的文章:

相關(guān)文章

Python3實(shí)現(xiàn)監(jiān)控新型冠狀病毒肺炎疫情的示例代碼
這篇文章主要介紹了Python3實(shí)現(xiàn)監(jiān)控新型冠狀病毒肺炎疫情的示例代碼,代碼簡(jiǎn)單易懂，非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2020-02-02
Python學(xué)習(xí)之字符串常用方法總結(jié)
這篇文章主要為大家介紹了Python中字符串的幾個(gè)常用方法總結(jié)，文中的示例代碼講解詳細(xì)，對(duì)我們學(xué)習(xí)Python字符串有一定幫助，需要的可以參考一下
2022-03-03
python 返回一個(gè)列表中第二大的數(shù)方法
今天小編就為大家分享一篇python 返回一個(gè)列表中第二大的數(shù)方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2019-07-07
Python提取JSON格式數(shù)據(jù)實(shí)戰(zhàn)案例
這篇文章主要給大家介紹了關(guān)于Python提取JSON格式數(shù)據(jù)的相關(guān)資料, Python提供了內(nèi)置的json模塊,用于處理JSON數(shù)據(jù),文中給出了詳細(xì)的代碼示例,需要的朋友可以參考下
2023-07-07
python tkinter 設(shè)置窗口大小不可縮放實(shí)例
這篇文章主要介紹了python tkinter 設(shè)置窗口大小不可縮放實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-03-03
使用GitHub和Python實(shí)現(xiàn)持續(xù)部署的方法
這篇文章主要介紹了使用GitHub和Python實(shí)現(xiàn)持續(xù)部署的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2019-05-05
Python asyncio常用函數(shù)使用詳解
Asyncio在經(jīng)過(guò)一段時(shí)間的發(fā)展以及獲取Curio等第三方庫(kù)的經(jīng)驗(yàn)來(lái)提供更多的功能，目前高級(jí)功能也基本完善，但是相對(duì)于其他語(yǔ)言，Python的Asyncio高級(jí)功能還是不夠的，但好在Asyncio的低級(jí)API也比較完善
2023-03-03
關(guān)于pyqt5控件自適應(yīng)窗口超詳細(xì)知識(shí)點(diǎn)匯總
這篇文章主要介紹了關(guān)于pyqt5控件自適應(yīng)窗口超詳細(xì)知識(shí)點(diǎn)匯總，有了布局，再在布局中放置各種控件，我們就能讓控件實(shí)現(xiàn)自適應(yīng)的效果,需要的朋友可以參考下
2023-03-03
Python使用protobuf序列化和反序列化的實(shí)現(xiàn)
protobuf是一種二進(jìn)制的序列化格式，相對(duì)于json來(lái)說(shuō)體積更小，傳輸更快，本文主要介紹了Python使用protobuf序列化和反序列化的實(shí)現(xiàn)，感興趣的可以了解一下
2021-05-05
python使用requests.session模擬登錄
最近開(kāi)發(fā)一套接口，寫(xiě)個(gè)Python腳本，使用requests.session模擬一下登錄.本文通過(guò)實(shí)例代碼給大家介紹python使用requests.session模擬登錄，感興趣的朋友跟隨小編一起看看吧
2019-08-08