pandas string轉dataframe的方法
更新時間：2018年04月11日 08:56:21 作者：小煤礦屁
下面小編就為大家分享一篇pandas string轉dataframe的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
今天業(yè)務上碰到用pandas處理一個大文件的內(nèi)存不夠問題，需要做concat 合并多個文件，每個文件數(shù)據(jù)在1.4億行左右。當時第一反應是把dataframe分割成多塊小文件處理，后面發(fā)現(xiàn)即使pandas內(nèi)存問題解決了，用pickle做保存數(shù)據(jù)時也會提升內(nèi)存不夠的報錯，后來把dataframe對象轉化成string，發(fā)現(xiàn)內(nèi)存占用減少了近一半。
所以打算用先轉成string再dump到離線文件里，官網(wǎng)文檔上只有to_string的說明，而從string轉dataframe卻沒有提供直接的函數(shù)。
其實很簡單，我們可以把string放到一個文件對象里，然后通過read_csv函數(shù)來創(chuàng)建dataframe對象。
import sys
if sys.version_info[0] < 3:
from StringIO import StringIO
else:
from io import StringIO
import pandas as pd
TESTDATA=StringIO("""col1;col2;col3
1;4.4;99
2;4.5;200
3;4.7;65
4;3.2;140
""")
df = pd.read_csv(TESTDATA, sep=";")
以上這篇pandas string轉dataframe的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
這篇文章主要介紹了Python取讀csv文件做dbscan分析，讀取csv文件中相應的列，然后進行轉化，處理為本算法需要的格式，然后進行dbscan運算，下面文章的具體介紹需要的小伙伴可以參考一下2022-04-04
這篇文章主要為大家詳細介紹了python的函數(shù)和面向對象，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-02-02
端午節(jié)快樂，今天我將為大家?guī)硪黄嘘P端午節(jié)的編程文章，希望能夠為大家獻上一份小小的驚喜，我們將會使用Python來實現(xiàn)一個與端午粽子相關的小應用程序，在本文中，我將會介紹如何用Python代碼制做一個“粽子拆解器”，感興趣的小伙伴歡迎閱讀2023-06-06
本文主要介紹了Python讀寫Excel文件庫的實現(xiàn)示例,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2023-08-08
Flask是一個使用Python編寫的輕量級Web應用框架,本文我們將介紹一個使用Flask逐步搭建Web應用程序的簡單入門示例,文中通過示例代碼介紹的非常詳細,需要的朋友們下面隨著小編來一起學習學習吧2024-01-01
下面小編就為大家?guī)硪黄猵ython獲取當前用戶的主目錄路徑方法(推薦)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-01-01
Python利用Bokeh進行數(shù)據(jù)可視化的教程分享
Bokeh是Python中的數(shù)據(jù)可視化庫，提供高性能的交互式圖表和繪圖。本文將利用Bokeh繪制一些可視化圖表，文中的示例代碼講解詳細，感興趣的可以了解一下2022-08-08
Django ORM實現(xiàn)按天獲取數(shù)據(jù)去重求和例子
這篇文章主要介紹了Django ORM實現(xiàn)按天獲取數(shù)據(jù)去重求和例子，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
這篇文章主要介紹了python中實現(xiàn)字符串翻轉的方法,代碼很簡單，非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下2018-07-07
shutil是?python?中的高級文件操作模塊，與os模塊形成互補的關系，os主要提供了文件或文件夾的新建、刪除、查看等方法，還提供了對文件以及目錄的路徑操作，這篇文章主要介紹了python包合集-shutil,需要的朋友可以參考下2022-08-08