最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

Python實(shí)現(xiàn)非正太分布的異常值檢測(cè)方式

 更新時(shí)間:2019年12月09日 14:45:31   作者:J小白Y  
今天小編就為大家分享一篇Python實(shí)現(xiàn)非正太分布的異常值檢測(cè)方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧

工作中,我們經(jīng)常會(huì)遇到數(shù)據(jù)異常,比如說(shuō)瀏覽量突增猛降,交易量突增猛降,但是這些數(shù)據(jù)又不是符合正太分布的,如果用幾倍西格瑪就不合適,那么我們?nèi)绾蝸?lái)判斷這些變化是否在合理的范圍呢?

小白查閱一些資料后,發(fā)現(xiàn)可以用箱形圖,具體描述如下:

箱形圖(英文:Box plot),又稱為盒須圖、盒式圖、盒狀圖或箱線圖,是一種用作顯示一組數(shù)據(jù)分散情況資料的統(tǒng)計(jì)圖。因型狀如箱子而得名。箱形圖最大的優(yōu)點(diǎn)就是不受異常值的影響,能夠準(zhǔn)確穩(wěn)定地描繪出數(shù)據(jù)的離散分布情況,同時(shí)也利于數(shù)據(jù)的清洗。

異常值可以設(shè)置為上四分位數(shù)的1.25倍,也可以設(shè)置為1.5倍,具體的要通過(guò)實(shí)驗(yàn)可得。

1、下四分位數(shù)Q1

(1)確定四分位數(shù)的位置。Qi所在位置=i(n+1)/4,其中i=1,2,3。n表示序列中包含的項(xiàng)數(shù)。

(2)根據(jù)位置,計(jì)算相應(yīng)的四分位數(shù)。

例中:Q1所在的位置=(14+1)/4=3.75,Q1=0.25×第三項(xiàng)+0.75×第四項(xiàng)=0.25×17+0.75×19=18.5;

2、中位數(shù)(第二個(gè)四分位數(shù))Q2中位數(shù),即一組數(shù)由小到大排列處于中間位置的數(shù)。若序列數(shù)為偶數(shù)個(gè),該組的中位數(shù)為中間兩個(gè)數(shù)的平均數(shù)。

例中:Q2所在的位置=2(14+1)/4=7.5,Q2=0.5×第七項(xiàng)+0.5×第八項(xiàng)=0.5×25+0.5×28=26.5

3、上四分位數(shù)Q3計(jì)算方法同下四分位數(shù)。

例中:Q3所在的位置=3(14+1)/4=11.25,Q3=0.75×第十一項(xiàng)+0.25×第十二項(xiàng)=0.75×34+0.25×35=34.25。

4、上限上限是非異常范圍內(nèi)的最大值。

首先要知道什么是四分位距如何計(jì)算的?四分位距IQR=Q3-Q1,那么上限=Q3+1.5IQR5、下限下限是非異常范圍內(nèi)的最小值。下限=Q1-1.5IQR

我這里是使用上四分位數(shù)的1.5倍作為上限,下四分位數(shù)的1.5倍作為下限。

這里是拿歷史一個(gè)月每天的產(chǎn)量和間夜量作為參考,統(tǒng)計(jì)出歷史的箱線圖的各個(gè)指標(biāo),然后將要比較的數(shù)據(jù),來(lái)進(jìn)行循環(huán)判斷,若超過(guò)上限/下限那么拋出1和0.

# -*- coding: utf-8 -*-
"""
Created on Tue Apr 30 10:52:37 2019
@author: chen_lib
"""
 
import pandas as pd
catering_sale = 'D:/Users/chen_lib/Desktop/ceshi.csv' #讀取歷史數(shù)據(jù)
datax = pd.read_csv(catering_sale) #讀取數(shù)據(jù)
#取出不是昨天的數(shù)據(jù)
data = datax.loc[datax['orderdate'] != datetime][:]
'''
import time
## yyyy-mm-dd格式
print (time.strftime("%Y-%m-%d"))
'''
#時(shí)間減一天
import datetime
datetime = (datetime.datetime.now()+datetime.timedelta(days=-1)).strftime("%Y-%m-%d")
 
 
#保存基本統(tǒng)計(jì)量,將常見(jiàn)的統(tǒng)計(jì)信息保存為數(shù)據(jù)框
statistics = data.describe() 
#添加行標(biāo)簽 計(jì)算出每個(gè)指標(biāo)的上線下線和四分位間距
statistics.loc['IQR'] = statistics.loc['75%']-statistics.loc['25%'] #四分位數(shù)間距
statistics.loc['UP'] = statistics.loc['75%'] + 1.5*statistics.loc['IQR'] #上限
statistics.loc['DAWN'] = statistics.loc['25%'] - 1.5*statistics.loc['IQR']#下限
#取出data的列名
columns = data.columns.values.tolist()
 
 
'''取出要比較的數(shù)值,放在統(tǒng)計(jì)信息表'''
a = data.loc[data['orderdate'] == datetime][columns[1]]#取出第一列
b = data.loc[data['orderdate'] == datetime][columns[2]]#取出第二列
statistics.loc['res'] = [a[1],b[1]]#取出需要比較的當(dāng)天的數(shù)據(jù) 放入統(tǒng)計(jì)信息中
  
 
'''循環(huán)取出結(jié)果是否滿足要求''' 
ret = [] 
for i in range(2):
  res = statistics.loc['res'][i]
  max = statistics.loc['UP'][columns[i+1]]#最大值
  min = statistics.loc['DAWN'][columns[i+1]]#最小值
  '''
  #重建三個(gè)值的索引,以便比較大小
  res.index = ['ordernum']
  max.index = max['ordernum']
  min.index = min['ordernum']
  #判斷異常值,若大于最大值或者小于最小值則拋出結(jié)果為1
  '''
  result1 = res>max
  result2 = res<min
  if result1 =='False' or result2 == 'False':
    ret.append([columns[i+1],1])
  else: 
    ret.append([columns[i+1],0])
  df = pd.DataFrame(ret)
  
	#將文件寫入excel表中
df.to_excel("d:/Users/chen_lib/Desktop/ceshi.xlsx",sheet_name="total",index=False,header=False)
 

以上這篇Python實(shí)現(xiàn)非正太分布的異常值檢測(cè)方式就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。

相關(guān)文章

  • Python 實(shí)現(xiàn)PS濾鏡中的徑向模糊特效

    Python 實(shí)現(xiàn)PS濾鏡中的徑向模糊特效

    這篇文章主要介紹了Python 實(shí)現(xiàn) PS 濾鏡中的徑向模糊特效,幫助大家更好的利用python處理圖片,感興趣的朋友可以了解下
    2020-12-12
  • python讀取.mat文件的數(shù)據(jù)及實(shí)例代碼

    python讀取.mat文件的數(shù)據(jù)及實(shí)例代碼

    這篇文章主要介紹了python讀取.mat文件的數(shù)據(jù)的方法,本文給大家介紹的非常詳細(xì),具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下
    2019-07-07
  • Python基礎(chǔ)語(yǔ)言學(xué)習(xí)筆記總結(jié)(精華)

    Python基礎(chǔ)語(yǔ)言學(xué)習(xí)筆記總結(jié)(精華)

    給大家分享一篇關(guān)于Python基礎(chǔ)學(xué)習(xí)內(nèi)容的學(xué)習(xí)筆記整理總結(jié)篇,里面匯集了學(xué)習(xí)Python基礎(chǔ)語(yǔ)言的難點(diǎn)和技巧,分享給大家。
    2017-11-11
  • python編程測(cè)試電腦開(kāi)啟最大線程數(shù)實(shí)例代碼

    python編程測(cè)試電腦開(kāi)啟最大線程數(shù)實(shí)例代碼

    這篇文章主要介紹了python編程測(cè)試電腦開(kāi)啟最大線程數(shù)實(shí)例代碼,分享了相關(guān)代碼示例,小編覺(jué)得還是挺不錯(cuò)的,具有一定借鑒價(jià)值,需要的朋友可以參考下
    2018-02-02
  • Python網(wǎng)絡(luò)爬蟲(chóng)中的同步與異步示例詳解

    Python網(wǎng)絡(luò)爬蟲(chóng)中的同步與異步示例詳解

    這篇文章主要給大家介紹了關(guān)于Python網(wǎng)絡(luò)爬蟲(chóng)中同步與異步的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧。
    2018-02-02
  • Python3.6 Schedule模塊定時(shí)任務(wù)(實(shí)例講解)

    Python3.6 Schedule模塊定時(shí)任務(wù)(實(shí)例講解)

    下面小編就為大家?guī)?lái)一篇Python3.6 Schedule模塊定時(shí)任務(wù)(實(shí)例講解)。小編覺(jué)得挺不錯(cuò)的,現(xiàn)在就分享給大家,也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
    2017-11-11
  • Python 列表的清空方式

    Python 列表的清空方式

    今天小編就為大家分享一篇Python 列表的清空方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2020-01-01
  • 學(xué)python最電腦配置有要求么

    學(xué)python最電腦配置有要求么

    在本篇內(nèi)容中小編給大家整理的是關(guān)于學(xué)習(xí)python中電腦配置的相關(guān)文章,需要的朋友們可以學(xué)習(xí)下。
    2020-07-07
  • 使用python求斐波那契數(shù)列中第n個(gè)數(shù)的值示例代碼

    使用python求斐波那契數(shù)列中第n個(gè)數(shù)的值示例代碼

    這篇文章主要給大家介紹了關(guān)于使用python求斐波那契數(shù)列中第n個(gè)數(shù)的值的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
    2020-07-07
  • 對(duì)Python中的@classmethod用法詳解

    對(duì)Python中的@classmethod用法詳解

    下面小編就為大家分享一篇對(duì)Python中的@classmethod用法詳解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
    2018-04-04

最新評(píng)論

甘南县| 宁南县| 岑溪市| 三门县| 阜宁县| 柞水县| 南充市| 犍为县| 建德市| 长海县| 东平县| 正镶白旗| 青铜峡市| 云浮市| 石泉县| 郎溪县| 岳池县| 长乐市| 汉沽区| 广丰县| 图片| 北票市| 呈贡县| 融水| 云梦县| 汉源县| 凉山| 新疆| 舒兰市| 岗巴县| 江安县| 都昌县| 长春市| 盐亭县| 调兵山市| 平塘县| 雷州市| 广灵县| 安陆市| 区。| 陆丰市|