python 實現(xiàn)讀取csv數(shù)據(jù),分類求和 再寫進 csv
這兩天在測試過程中，遇到這樣的問題：
數(shù)據(jù)量很大，一份csv文件的數(shù)據(jù)與另外一個文件的數(shù)據(jù)進行對比，但是csv中的文件數(shù)據(jù)量很大，并且進行統(tǒng)計 ，如果手動單個去對比，會很花時間，吃力不討好，還容易出錯。
比如說，這樣的數(shù)據(jù)
需要對AskPrice值相同對應的AskQuantity 統(tǒng)計出來。
直接上腳本 ：
import pandas as pd
import csv
df=pd.read_csv('D:\test\orderBook.csv')
df_sum = df.groupby('AskPrice')['AskQuantity'].sum()
df_sum.to_csv('D:\test\orderBook2.csv')
然后運行得到：
這對于大數(shù)據(jù)量的處理特別方便。
補充知識：python處理csv文件（場景分類）
最近做一個關(guān)于場景分類的比賽，總共有20類，不到2萬張圖片，首先要做的就是把20類圖片分到每個文件夾下。
import numpy as np
import os
import xlrd
import pandas as pd
import shutil
list_0 = []
list_file = []
flag = []
filename = os.listdir('F:\工作\比賽\未來杯\image_scene_training\data')
af = pd.read_excel('19.xlsx')
ww = af.values.tolist()
for i in ww:
for j in i:
list_0.append(j)
for name in filename:
list_file.append(name[0:-4])
for name in list_file:
if name in list_0:
flag.append(True)
else:
flag.append(False)
for name in list_file:
if flag[list_file.index(name)]:
oldname = u'F:\工作\比賽\未來杯\image_scene_training\data\\'+name+'.jpg'
newname = u'F:\工作\比賽\未來杯\image_scene_training\\train_data\\beach\\'+name+'.jpg'
shutil.copyfile(oldname,newname)
unicodeDecodeError:'utf-8' codec can't decode byte 0xce in position 72: invalid continuation byte
1:升級pip python -m pip install --upgrade pip
2:改python文件內(nèi)容：找到lib\site-packages\pip\compat\__init__.py
return s.decode('utf-8')
將‘utf-8'改成'gbk'
以上這篇python 實現(xiàn)讀取csv數(shù)據(jù),分類求和 再寫進 csv就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python實現(xiàn)遍歷目錄的兩張方法總結(jié)
我們有時想直接查看文件夾里的所有文件,但使用正常的方法太麻煩了,于是本文開發(fā)出了兩個python程序,可以遍歷目錄,有需要的小伙伴可以參考下2024-02-02
下面小編就為大家?guī)硪黄猟jango 常用orm操作詳解。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-09-09
Pandas —— resample()重采樣和asfreq()頻度轉(zhuǎn)換方式
今天小編就為大家分享一篇Pandas —— resample()重采樣和asfreq()頻度轉(zhuǎn)換方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
Python3 多線程(連接池)操作MySQL插入數(shù)據(jù)
本文將結(jié)合實例代碼，介紹Python3 多線程(連接池)操作MySQL插入數(shù)據(jù)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-06-06
Python GUI教程之在PyQt5中使用數(shù)據(jù)庫的方法
Qt平臺對SQL編程有著良好的支持，PyQt5也一并繼承了過來，這篇文章主要介紹了Python GUI教程之在PyQt5中使用數(shù)據(jù)庫的方法,需要的朋友可以參考下2021-09-09
Python字符串中出現(xiàn)的次數(shù)統(tǒng)計多種方法
這篇文章主要介紹了Python字符串中出現(xiàn)的次數(shù)統(tǒng)計多種方法,使用內(nèi)置的count()方法、正則表達式、列表推導式、循環(huán)和條件判斷以及字符串分割,每種方法都有其適用的場景和優(yōu)缺點,選擇合適的方法取決于具體的需求和場景,需要的朋友可以參考下2024-12-12
這篇文章給大家分享了python中常用的九種預處理方法，對大家學習或使用python具有一定的參考價值，有需要的朋友們可以一起來看看。2016-09-09
本文主要介紹了python實現(xiàn)定時器的5種方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2023-03-03
Dephi逆向工具Dede導出函數(shù)名MAP導入到IDA中的實現(xiàn)方法
這篇文章主要介紹了Dephi逆向工具Dede導出函數(shù)名MAP導入到IDA中,通過這個腳本，我們就可以把專業(yè)dephi程序分析的結(jié)果，轉(zhuǎn)移到IDA專業(yè)逆向代碼分析的平臺，實現(xiàn)聯(lián)動，需要的朋友可以參考下2022-08-08
這篇文章主要介紹了python字符串不可變數(shù)據(jù)類型,下文關(guān)于python字符串不可變數(shù)據(jù)類型相關(guān)資料展開的內(nèi)容主要有查找子串及數(shù)量、字符串的替換、分割以及合并、刪除側(cè)邊的空白等內(nèi)容，需要的小伙伴可以參考一下2022-02-02