python:刪除離群值操作(每一行為一類數(shù)據(jù))
刪除有多行字符串的json文件中的離群值
def processHold(eachsubject,directory,newfile):
filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原文件
with open(filename, 'r') as f:
for jsonstr in f.readlines(): # 按行讀取原文件
# 這里的情況是每一行為一類數(shù)值,該行內(nèi)的數(shù)據(jù)相互比較找出是否有離群值
# 若存在離群值,則刪除該行數(shù)據(jù)
data = json.loads(jsonstr)
#計(jì)算四分位點(diǎn)
a = numpy.array(data)
q1 = numpy.percentile(a, 25)
q3 = numpy.percentile(a, 75)
iqr = q3 - q1
# 找出異常值
i = 0
for item in zip(data):
# 在正常值范圍內(nèi)時(shí) i+1
if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):
i = i + 1
if i == 10:
# 這里是因?yàn)槲业膉son文件中每行data有10個(gè)元素(如果有更好的方法,請(qǐng)教我一下,謝謝您?。?
HoldTime = data
with open(newfile, 'a') as f: # 將非離群數(shù)據(jù)存入新文件
json.dump(HoldTime, f)
f.write('\n')
補(bǔ)充知識(shí):dataframe 離群值處理
離群值:遠(yuǎn)離數(shù)據(jù)主要部分的樣本(極大值或極小值)
處理方式:
刪除:直接刪除離群樣本
填充樣本:使用box-plot定義變量的數(shù)值上下界,以上界填充極大值,以下界填充最小值
# 查看房?jī)r(jià)的離群情況 df['average_price'].hist() plt.show() df[['average_price']].boxplot() plt.show()

# 根據(jù)箱線圖的上下限進(jìn)行異常值的填充 def boxplot_fill(col): # 計(jì)算iqr:數(shù)據(jù)四分之三分位值與四分之一分位值的差 iqr = col.quantile(0.75)-col.quantile(0.25) # 根據(jù)iqr計(jì)算異常值判斷閾值 u_th = col.quantile(0.75) + 1.5*iqr # 上界 l_th = col.quantile(0.25) - 1.5*iqr # 下界 # 定義轉(zhuǎn)換函數(shù):如果數(shù)字大于上界則用上界值填充,小于下界則用下界值填充。 def box_trans(x): if x > u_th: return u_th elif x < l_th: return l_th else: return x return col.map(box_trans) # 填充效果查看 boxplot_fill(df['average_price']).hist() # 進(jìn)行賦值 df['average_price'] = boxplot_fill(df['average_price']) plt.show()
以上這篇python:刪除離群值操作(每一行為一類數(shù)據(jù))就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
相關(guān)文章
jupyter notebook如何導(dǎo)出pdf并支持中文
這篇文章主要介紹了jupyter notebook如何導(dǎo)出pdf并支持中文問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-06-06
PyTorch模型創(chuàng)建與nn.Module構(gòu)建
這篇文章主要為大家介紹了PyTorch模型創(chuàng)建與nn.Module構(gòu)建示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-07-07
淺談Keras中shuffle和validation_split的順序
這篇文章主要介紹了淺談Keras中shuffle和validation_split的順序,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-06-06
python中實(shí)現(xiàn)定時(shí)任務(wù)的幾種方案
本文呢給大家總結(jié)以下幾種方案實(shí)現(xiàn)定時(shí)任務(wù),可根據(jù)不同需求去使用不同方案,文章通過代碼示例介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴可以參考下2023-10-10
mAP計(jì)算目標(biāo)檢測(cè)精確度實(shí)現(xiàn)源碼
這篇文章主要為大家介紹了mAP計(jì)算目標(biāo)檢測(cè)精確度的實(shí)現(xiàn)源碼,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-05-05
運(yùn)用Python快速的對(duì)MySQL數(shù)據(jù)庫(kù)進(jìn)行重命名
本文介紹了如何運(yùn)用Python快速的對(duì)現(xiàn)有的數(shù)據(jù)庫(kù)進(jìn)行重命名,有此需求的朋友可以參考下2021-06-06
使用Python實(shí)現(xiàn)Oracle數(shù)據(jù)庫(kù)自動(dòng)巡檢程序
這篇文章主要為大家詳細(xì)介紹了如何創(chuàng)建一個(gè)Oracle數(shù)據(jù)庫(kù)自動(dòng)巡檢程序,以確保數(shù)據(jù)庫(kù)的順暢運(yùn)行,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-01-01
pygame中blit()參數(shù)的使用及臟矩形動(dòng)畫形成的說明
這篇文章主要介紹了pygame中blit()參數(shù)的使用及臟矩形動(dòng)畫形成的說明,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-03-03

