python梯度下降法的簡單示例
梯度下降法的原理和公式這里不講，就是一個直觀的、易于理解的簡單例子。
1.最簡單的情況，樣本只有一個變量，即簡單的（x，y）。多變量的則可為使用體重或身高判斷男女（這是假設(shè)，并不嚴(yán)謹(jǐn)），則變量有兩個，一個是體重，一個是身高，則可表示為(x1,x2,y),即一個目標(biāo)值有兩個屬性。
2.單個變量的情況最簡單的就是，函數(shù)hk(x)=k*x這條直線(注意：這里k也是變化的，我們的目的就是求一個最優(yōu)的 k)。而深度學(xué)習(xí)中，我們是不知道函數(shù)的，也就是不知道上述的k。 這里討論單變量的情況：
在不知道k的情況下，我們是通過樣本(x1,y1),(x2,y2)，(xn,yn)來獲取k。獲取的k的好壞則有損失函數(shù)來衡量。
損失函數(shù)：就是你預(yù)測的值和真實(shí)值的差異大小（比如一個樣本（1，1）他的真實(shí)值是1，而你預(yù)測的是0.5，則差異 比較大，如果你預(yù)測值為0.9999，則差異就比較小了）。
損失函數(shù)為定義如下（此處為單變量的情況）
目的是求使損失函數(shù)最小的變量k（注意和變量x區(qū)分），則將損失函數(shù)對k求導(dǎo)（多變量時為求偏導(dǎo)得梯度，這里單變量求導(dǎo)，其實(shí)不算梯度），求偏導(dǎo)如下：
然后迭代，迭代時有個步長alpha,(深度學(xué)習(xí)中貌似叫學(xué)習(xí)率)
3.例子
假如我們得到樣本(1,1),(2,2),(3,3).其實(shí)，由這三個樣本可以得到函數(shù)為y = 1*x。此時損失函數(shù)為0.而機(jī)器是不知道的，所以我們需要訓(xùn)練。
下面是一段python代碼。
import numpy as np import matplotlib.pyplot as plt x=np.arange(-5, 5, 0.001) y=(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0) plt.plot(x,y) #plt.show() #顯示圖形 def sum(x): return ((x*1-1)*1+(x*2-2)*2+(x*3-3)*3) def fun(x): return ((1/3.0)*sum(x)) old = 0 new = 5 step = 0.01 pre = 0.00000001 def src_fun(x): print(((x-1)*(x-1)+(x*2-2)*(x*2-2)+(x*3-3)*(x*3-3))*1/6.0) while abs(new-old)>pre: old = new #src_fun(old) #輸出每次迭代的損失值 new = new - step*fun(old) print(new) print(src_fun(new))
下圖是損失函數(shù)的圖像，損失函數(shù)中變量是k。下圖橫坐標(biāo)為k的不同取值，縱軸為對應(yīng)的損失大小。由下圖可以大致看出，當(dāng)k為1時，損失函數(shù)值為0。注意：這里取的最優(yōu)值k=1是在我們已有樣本的情況下得出的,樣本不同，k值自然不同。
下面是print(new)和print(src_fun(new))的輸出結(jié)果
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
在處理文本數(shù)據(jù)時,字符編碼問題是一個常見的挑戰(zhàn),如果編碼不正確,可能會導(dǎo)致亂碼問題,而 Chardet 是 Python 中非常實(shí)用的一個庫,可以幫助我們快速檢測文件或字符串的編碼格式,本文給大家詳細(xì)介紹了Python Chardet 庫用法,需要的朋友可以參考下2025-01-01
eval(str)函數(shù)很強(qiáng)大,官方解釋為將字符串str當(dāng)成有效的表達(dá)式來求值并返回計算結(jié)果,下面這篇文章主要給大家介紹了關(guān)于Python?eval()?函數(shù)的相關(guān)資料,需要的朋友可以參考下2022-01-01
Python遵循面向?qū)ο蟮木幊谭妒?。它處理聲明python類，從它們創(chuàng)建對象并與用戶交互。在面向?qū)ο蟮恼Z言中，程序被分成獨(dú)立的對象，或者你可以說成幾個小程序。每個對象代表應(yīng)用程序的不同部分，它們可以相互通信。類是對客觀世界中事物得抽象，而對象是類實(shí)例化后的實(shí)體2021-06-06
Python人臉識別第三方庫face_recognition接口說明文檔
Python人臉識別第三方庫face_recognition接口簡單說明，及簡單使用方法2019-05-05
python翻譯軟件實(shí)現(xiàn)代碼(使用google api完成)
這篇文章主要介紹了python結(jié)合google api完成的翻譯軟件實(shí)現(xiàn)代碼，大家參考使用2013-11-11
這篇文章主要介紹了解決Windows下python和pip命令無法使用的問題，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
Python 實(shí)現(xiàn)平臺類游戲添加跳躍功能
這篇文章主要介紹了Python 實(shí)現(xiàn)平臺類游戲添加跳躍功能,，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-03-03
Python3實(shí)現(xiàn)爬取指定百度貼吧頁面并保存頁面數(shù)據(jù)生成本地文檔的方法
這篇文章主要介紹了Python3實(shí)現(xiàn)爬取指定百度貼吧頁面并保存頁面數(shù)據(jù)生成本地文檔的方法,涉及Python基于urllib模塊的頁面爬取與文件讀寫相關(guān)操作技巧,需要的朋友可以參考下2018-04-04
Python利用Selenium實(shí)現(xiàn)自動觀看學(xué)習(xí)通視頻
Selenium是一個用于Web應(yīng)用程序測試的工具。Selenium測試直接運(yùn)行在瀏覽器中，就像真正的用戶在操作一樣。本文主要介紹了利用Selenium實(shí)現(xiàn)自動觀看學(xué)習(xí)通視頻，需要的同學(xué)可以參考一下2021-12-12
基于Python+Pygame實(shí)現(xiàn)變異狗大戰(zhàn)游戲
只有你想不到，沒有我找不到寫不了的好游戲！這篇文章就來和大家分享一下如何基于Python+Pygame實(shí)現(xiàn)變異狗大戰(zhàn)游戲，感興趣的可以了解一下2023-03-03