快捷導(dǎo)航

如何使用Python進(jìn)行數(shù)據(jù)分析之方差分析詳解

更新時(shí)間：2024年03月05日 09:32:44 作者：python慕遙

這篇文章主要給大家介紹了關(guān)于如何使用Python進(jìn)行數(shù)據(jù)分析之方差分析的相關(guān)資料,方差分析是一種常用的對數(shù)據(jù)進(jìn)行分析的方法,用于兩個(gè)及兩個(gè)以上樣本均數(shù)和方差差別的顯著性檢驗(yàn),需要的朋友可以參考下

前言

大家好，方差分析可以用來判斷幾組觀察到的數(shù)據(jù)或者處理的結(jié)果是否存在顯著差異。本文介紹的方差分析（Analysis of Variance，簡稱ANOVA）就是用于檢驗(yàn)兩組或者兩組以上樣本的均值是否具備顯著性差異的一種數(shù)理統(tǒng)計(jì)方法。

根據(jù)影響試驗(yàn)條件的因素個(gè)數(shù)可以將方差分析分為：單因素方差分析、雙因素方差分析、多因素方差分析；雙因素方差分析則是分析兩個(gè)因素對試驗(yàn)指標(biāo)的影響；多因素方差分析則是分析更多因素指標(biāo)的分析方法。本文是以不同城市的月薪收入在每個(gè)月的水平上是否存在差異就是多組數(shù)據(jù)是否存在差異的示例：

一、單因素方差分析

單因素方差分析只考慮單一因素對試驗(yàn)指標(biāo)的影響是否顯著：

import pandas as pd
from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
data= pd.read_excel('D:/shujufenxi/jpt.xlsx',index_col=0)
# 先來看下從城市因素開始分析，
df_city=data.melt(var_name='城市',value_name='月薪')#使用melt（）函數(shù)將讀取數(shù)據(jù)進(jìn)行結(jié)構(gòu)轉(zhuǎn)換，以滿足ols（）函數(shù)對數(shù)據(jù)格式的要求，melt（）函數(shù)能將列標(biāo)簽轉(zhuǎn)換為列數(shù)據(jù)

使用melt()函數(shù)對數(shù)據(jù)結(jié)構(gòu)，并可視化，我們可以以肉眼觀察出差異性明顯：

import matplotlib.pyplot  as plt
plt.rcParams['font.sans-serif'] = ['KaiTi', 'SimHei', 'FangSong']  # 漢字字體,優(yōu)先使用楷體，如果找不到楷體，則使用黑體
plt.rcParams['font.size'] = 12  # 字體大小
plt.rcParams['axes.unicode_minus'] = False  # 正常顯示負(fù)號
import pandas as pd
import seaborn as sns
data= pd.read_excel('D:/shujufenxi/jpt.xlsx',index_col=0)
data_melt = data.melt()
data_melt.columns = ['城市', '月薪']
sns.boxplot(x = '城市', y = '月薪', data = data_melt)
plt.show()

進(jìn)行方差分析：

import pandas as pd
from statsmodels.stats.multicomp import pairwise_tukeyhsd
from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
data= pd.read_excel('D:/shujufenxi/jpt.xlsx',index_col=0)
# 先來看下從城市因素開始分析，
df_city=data.melt(var_name='城市',value_name='月薪')#使用melt（）函數(shù)將讀取數(shù)據(jù)進(jìn)行結(jié)構(gòu)轉(zhuǎn)換，以滿足ols（）函數(shù)對數(shù)據(jù)格式的要求，melt（）函數(shù)能將列標(biāo)簽轉(zhuǎn)換為列數(shù)據(jù)
model_city=ols('月薪~C(城市)',df_city).fit()# ols（）創(chuàng)建一線性回歸分析模型
anova_table=anova_lm(model_city)# anova_lm（）函數(shù)創(chuàng)建模型生成方差分析表
print(anova_table)
# 進(jìn)行事后比較分析
print(pairwise_tukeyhsd(df_city['月薪'], df_city['城市']))

在結(jié)果圖上半部分中df為自由度，sum_sq為誤差平方和，mean_sq為平均平方，F(xiàn)代表統(tǒng)計(jì)量F值，PR(>F)代表顯著性水平P值；下半部分為多重比較，進(jìn)行事后分析，group1以及group2表示的是因子的不同水平，然后分析他們兩個(gè)組是否有顯著性差異，最后面的reject表示是否拒絕原假設(shè)，True表示的是拒絕原假設(shè)，說明兩組均值有顯著性差異。

二、雙因素方差分析

雙因素方差分析對數(shù)據(jù)結(jié)構(gòu)的要求和單因素方差分析不同，代碼如下：

import pandas as pd
from statsmodels.stats.multicomp import pairwise_tukeyhsd
from statsmodels.formula.api import ols
from statsmodels.stats.anova import anova_lm
data= pd.read_excel('D:/shujufenxi/jpt.xlsx',index_col=0)
df_twoway=data.stack().reset_index()
df_twoway.columns=['月份','城市','月薪']
model_twoway=ols('月薪~C(月份)+C(城市)',df_twoway).fit()
anova_table=anova_lm(model_twoway)
print(anova_table