python 線性回歸分析模型檢驗標(biāo)準(zhǔn)--擬合優(yōu)度詳解
建立完回歸模型后，還需要驗證咱們建立的模型是否合適，換句話說，就是咱們建立的模型是否真的能代表現(xiàn)有的因變量與自變量關(guān)系，這個驗證標(biāo)準(zhǔn)一般就選用擬合優(yōu)度。
擬合優(yōu)度是指回歸方程對觀測值的擬合程度。度量擬合優(yōu)度的統(tǒng)計量是判定系數(shù)R^2。R^2的取值范圍是[0，1]。R^2的值越接近1，說明回歸方程對觀測值的擬合程度越好；反之，R^2的值越接近0，說明回歸方程對觀測值的擬合程度越差。
擬合優(yōu)度問題目前還沒有找到統(tǒng)一的標(biāo)準(zhǔn)說大于多少就代表模型準(zhǔn)確，一般默認(rèn)大于0.8即可
擬合優(yōu)度的公式：R^2 = 1 - RSS/TSS
注： RSS 離差平方和 ； TSS 總體平方和
理解擬合優(yōu)度的公式前，需要先了解清楚幾個概念：總體平方和、離差平方和、回歸平方和。
一、總體平方和、離差平方和、回歸平方和
回歸平方和 ESS，殘差平方和 RSS，總體平方和 TSS
TSS(Total Sum of Squares)表示實際值與期望值的離差平方和，代表變量的總變動程度
ESS(Explained Sum of Squares)表示預(yù)測值與期望值的離差平方和，代表預(yù)測模型擁有的變量變動程度
RSS(Residual Sum of Squares)表示實際值與預(yù)測值的離差平方和，代表變量的未知變動程度
各個平方和的計算公式如下：
二、擬合優(yōu)度
接上一節(jié)內(nèi)容可知，我們拿實際值與期望值的離差平方和作為整體變量的總變動程度，這個變動程度就是我們建模型的目的，我們建立模型就是為了模擬這個變動程度。
建立模型后，整體變量的總變動程度（TSS）可以劃分為兩部分：模型模擬的變動程度（ESS）和未知的變動程度（RSS）
通常來說，預(yù)測模型擁有的變量變動程度在總變動程度中的占比越高，代表模型越準(zhǔn)確，當(dāng)RSS=0時，表示模型能完全模擬變量的總變動。
回到文章開頭的擬合優(yōu)度公式：R^2 = 1 - RSS/TSS 。是不是很好理解了！
假設(shè)R^2 = 0.8，意味著咱們建立的模型擁有的變動程度能模擬80%的總變動程度，剩下20%為未知變動。
三、例子
對于學(xué)生而言，現(xiàn)在要探索一下學(xué)生的學(xué)習(xí)成績與單一的學(xué)習(xí)時間是否有關(guān)系，給出兩組數(shù)據(jù)如下：
'學(xué)習(xí)時間':[0.50,0.75,1.00,1.25,1.50,1.75,1.75, 2.00,2.25,2.50,2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50],
'分?jǐn)?shù)':[10,22,13,43,20,22,33,50,62,48,55,75,62,73,81,76,64,82,90,93]
常識理解，學(xué)習(xí)時間越長，分?jǐn)?shù)一般都會越高，兩者是正比關(guān)系，因為就一個自變量，直接用sklearn，算出截距和斜率即可
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from pandas import DataFrame,Series
from sklearn.cross_validation import train_test_split
from sklearn.linear_model import LinearRegression
#創(chuàng)建數(shù)據(jù)集
examDict = {'學(xué)習(xí)時間':[0.50,0.75,1.00,1.25,1.50,1.75,1.75,
2.00,2.25,2.50,2.75,3.00,3.25,3.50,4.00,4.25,4.50,4.75,5.00,5.50],
'分?jǐn)?shù)':[10,22,13,43,20,22,33,50,62,
48,55,75,62,73,81,76,64,82,90,93]}
#轉(zhuǎn)換為DataFrame的數(shù)據(jù)格式
examDf = DataFrame(examDict)
#examDf
#繪制散點圖
plt.scatter(examDf.分?jǐn)?shù),examDf.學(xué)習(xí)時間,color = 'b',label = "Exam Data")
#添加圖的標(biāo)簽（x軸，y軸）
plt.xlabel("Hours")
plt.ylabel("Score")
#顯示圖像
plt.show()
#將原數(shù)據(jù)集拆分訓(xùn)練集和測試集
exam_X = examDf.學(xué)習(xí)時間
exam_Y = examDf.分?jǐn)?shù)
X_train,X_test,Y_train,Y_test = train_test_split(exam_X,exam_Y,train_size=0.8)
#X_train為訓(xùn)練數(shù)據(jù)標(biāo)簽,X_test為測試數(shù)據(jù)標(biāo)簽,exam_X為樣本特征,exam_y為樣本標(biāo)簽，train_size 訓(xùn)練數(shù)據(jù)占比
print("原始數(shù)據(jù)特征:",exam_X.shape,
",訓(xùn)練數(shù)據(jù)特征:",X_train.shape,
",測試數(shù)據(jù)特征:",X_test.shape)
print("原始數(shù)據(jù)標(biāo)簽:",exam_Y.shape,
",訓(xùn)練數(shù)據(jù)標(biāo)簽:",Y_train.shape,
",測試數(shù)據(jù)標(biāo)簽:",Y_test.shape)
model = LinearRegression()
#對于模型錯誤我們需要把我們的訓(xùn)練集進(jìn)行reshape操作來達(dá)到函數(shù)所需要的要求
# model.fit(X_train,Y_train)
#reshape如果行數(shù)=-1的話可以使我們的數(shù)組所改的列數(shù)自動按照數(shù)組的大小形成新的數(shù)組
#因為model需要二維的數(shù)組來進(jìn)行擬合但是這里只有一個特征所以需要reshape來轉(zhuǎn)換為二維數(shù)組
X_train = X_train.values.reshape(-1,1)
X_test = X_test.values.reshape(-1,1)
model.fit(X_train,Y_train)
a = model.intercept_#截距
b = model.coef_#回歸系數(shù)
print("最佳擬合線:截距",a,",回歸系數(shù)：",b)
接下來算出擬合優(yōu)度看看 ，擬合優(yōu)度0.83，符合要求
# 用訓(xùn)練集進(jìn)行擬合優(yōu)度，驗證回歸方程是否合理
def get_lr_stats(x, y, model):
message0 = '一元線性回歸方程為: '+'\ty' + '=' + str(model.intercept_)+' + ' +str(model.coef_[0]) + '*x'
from scipy import stats
n = len(x)
y_prd = model.predict(x)
Regression = sum((y_prd - np.mean(y))**2) # 回歸平方和
Residual = sum((y - y_prd)**2) # 殘差平方和
total = sum((y-np.mean(y))**2) #總體平方和
R_square = 1-Residual / total # 相關(guān)性系數(shù)R^2
message1 = ('相關(guān)系數(shù)(R^2)： ' + str(R_square) + '；' + '\n'+ '總體平方和(TSS)： ' + str(total) + '；' + '\n')
message2 = ('回歸平方和(RSS)： ' + str(Regression) + '；' + '\n殘差平方和(ESS)： ' + str(Residual) + '；' + '\n')
return print(message0 +'\n' +message1 + message2 )
get_lr_stats(X_train,Y_train,model)
如果需要，可以把所有點和回歸直線畫出來，直觀感受一下
#訓(xùn)練數(shù)據(jù)的預(yù)測值
y_train_pred = model.predict(X_train)
#繪制最佳擬合線：標(biāo)簽用的是訓(xùn)練數(shù)據(jù)集中的極值預(yù)測值
X_train_pred = [min(X_train),max(X_train)]
y_train_pred = [a+b*min(X_train),a+b*max(X_train)]
plt.plot(X_train_pred, y_train_pred, color='green', linewidth=3, label="best line")
#測試數(shù)據(jù)散點圖
plt.scatter(X_test, Y_test, color='red', label="test data")
plt.scatter(X_train, Y_train, color="blue", label="train data")
#添加圖標(biāo)標(biāo)簽
plt.legend(loc=2)
plt.xlabel("Hours")
plt.ylabel("Score")
#顯示圖像
plt.savefig("lines.jpg")
plt.show()
#計算擬合優(yōu)度
score = model.score(X_test,Y_test)
print(score)
以上這篇python 線性回歸分析模型檢驗標(biāo)準(zhǔn)--擬合優(yōu)度詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Python?Pandas條件篩選功能，篩選是在平時的工作中使用非常頻繁的功能了，下文詳細(xì)的相關(guān)資料介紹，需要的小伙伴可以參考一下2022-03-03
Python實現(xiàn)對字典分別按鍵(key)和值(value)進(jìn)行排序的方法分析
這篇文章主要介紹了Python實現(xiàn)對字典分別按鍵(key)和值(value)進(jìn)行排序的方法,結(jié)合實例形式分析了Python基于sorted函數(shù)及operator庫進(jìn)行字典排序的相關(guān)操作技巧,需要的朋友可以參考下2018-12-12
這篇文章總結(jié)了如何從Python EXE文件中提取和反編譯Python腳本（.pyc文件）的過程,包括使用pyinstxtractor.py或archive_viewer.py進(jìn)行解包,感興趣的小伙伴跟著小編一起來看看吧2025-03-03
這篇文章主要介紹了Python命名空間詳解,非常重要的概念,需要的朋友可以參考下2014-08-08
python基礎(chǔ)教程之實現(xiàn)石頭剪刀布游戲示例
使用PYTHON設(shè)計一個"石頭,剪子,布"游戲,有時又叫"Rochambeau",下面是實現(xiàn)方法,需要的朋友可以參考下2014-02-02
Python 如何操作 SQLite 數(shù)據(jù)庫
這篇文章主要介紹了Python 如何操作 SQLite 數(shù)據(jù)庫，幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-08-08
Python把對應(yīng)格式的csv文件轉(zhuǎn)換成字典類型存儲腳本的方法
今天小編就為大家分享一篇Python把對應(yīng)格式的csv文件轉(zhuǎn)換成字典類型存儲腳本的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-02-02
在Django的form中使用CSS進(jìn)行設(shè)計的方法
這篇文章主要介紹了在Django的form中使用CSS進(jìn)行設(shè)計的方法,Django是Python重多人氣開發(fā)框架中最為著名的一個,需要的朋友可以參考下2015-07-07
Pycharm中SSH、SFTP連接遠(yuǎn)程服務(wù)器編輯調(diào)試實例
這篇文章主要介紹了Pycharm中SSH、SFTP連接遠(yuǎn)程服務(wù)器編輯調(diào)試實例,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06
這篇文章主要介紹了python 連續(xù)不等式語法糖實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04