利用python實現(xiàn)3種梯度下降算法

更新時間：2023年12月18日 11:08:12 作者：艾派森

梯度下降法是一種優(yōu)化算法,用于求解函數(shù)的最小值或最大值,它通過迭代的方式,沿著函數(shù)的梯度方向逐步調(diào)整參數(shù),以找到函數(shù)的極值點,本文給大家介紹了利用python實現(xiàn)3種梯度下降算法,需要的朋友可以參考下

全量梯度下降

Batch Gradient Descent

在梯度下降中，對于θ的更新，所有的樣本都有貢獻，也就是參與調(diào)整θ。其計算得到的是一個標準梯度。因而理論上來說一次更新的幅度是比較大的。如果樣本不多的情況下，當然是這樣收斂的速度會更快啦。全量梯度下降每次學習都使用整個訓練集，因此其優(yōu)點在于每次更新都會朝著正確的方向進行，最后能夠保證收斂于極值點(凸函數(shù)收斂于全局極值點，非凸函數(shù)可能會收斂于局部極值點)，但是其缺點在于每次學習時間過長，并且如果訓練集很大以至于需要消耗大量的內(nèi)存，并且全量梯度下降不能進行在線模型參數(shù)更新。

代碼實現(xiàn)：

import numpy as np
 
# 創(chuàng)建數(shù)據(jù)集X，y
np.random.seed(1)
X = np.random.rand(100, 1)
y = 4 + 3*X + np.random.randn(100, 1)
X_b = np.c_[np.ones((100, 1)), X]
 
# 創(chuàng)建超參數(shù)
n_iterations = 10000
t0, t1 = 5, 500
 
# 定義一個函數(shù)來動態(tài)調(diào)整學習率
def learning_rate_schedule(t):
    return t0/(t+t1)
 
# 1,初始化θ, W0...Wn，標準正太分布創(chuàng)建W
theta = np.random.randn(2, 1)
# 4,判斷是否收斂，一般不會去設定閾值，而是直接采用設置相對大的迭代次數(shù)保證可以收斂
for i in range(n_iterations):
    # 2,求梯度，計算gradient
    gradients = X_b.T.dot(X_b.dot(theta)-y)
    # 3,應用梯度下降法的公式去調(diào)整θ值 θt+1=θt-η*gradient
    learning_rate = learning_rate_schedule(i)
    theta = theta - learning_rate * gradients
print(theta)

[[4.23695725]
 [2.68492509]]

隨機梯度下降

Stochastic Gradient Descent

梯度下降算法每次從訓練集中隨機選擇一個樣本來進行學習。批量梯度下降算法每次都會使用全部訓練樣本，因此這些計算是冗余的，因為每次都使用完全相同的樣本集。而隨機梯度下降算法每次只隨機選擇一個樣本來更新模型參數(shù)，因此每次的學習是非常快速的，并且可以進行在線更新。隨機梯度下降最大的缺點在于每次更新可能并不會按照正確的方向進行，因此可以帶來優(yōu)化波動(擾動)。

不過從另一個方面來看，隨機梯度下降所帶來的波動有個好處就是，對于類似盆地區(qū)域（即很多局部極小值點）那么這個波動的特點可能會使得優(yōu)化的方向從當前的局部極小值點跳到另一個更好的局部極小值點，這樣便可能對于非凸函數(shù)，最終收斂于一個較好的局部極值點，甚至全局極值點。由于波動，因此會使得迭代次數(shù)（學習次數(shù)）增多，即收斂速度變慢。不過最終其會和全量梯度下降算法一樣，具有相同的收斂性，即凸函數(shù)收斂于全局極值點，非凸損失函數(shù)收斂于局部極值點。

代碼實現(xiàn)：

import numpy as np
 
# 創(chuàng)建數(shù)據(jù)集
X = 2*np.random.rand(100, 1)
y = 4 + 3*X + np.random.randn(100, 1)
X_b = np.c_[np.ones((100, 1)), X]
# 創(chuàng)建超參數(shù)
n_epochs = 10000
m = 100
t0, t1 = 5, 500
 
# 定義一個函數(shù)來調(diào)整學習率
def learning_rate_schedule(t):
    return t0/(t+t1)
 
theta = np.random.randn(2, 1)
for epoch in range(n_epochs):
    # 在雙層for循環(huán)之間，每個輪次開始分批次迭代之前打亂數(shù)據(jù)索引順序
    arr = np.arange(len(X_b))
    np.random.shuffle(arr)
    X_b = X_b[arr]
    y = y[arr]
    for i in range(m):
        xi = X_b[i:i+1]
        yi = y[i:i+1]
        gradients = xi.T.dot(xi.dot(theta)-yi)
        learning_rate = learning_rate_schedule(epoch*m + i)
        theta = theta - learning_rate * gradients
 
print(theta)

[[3.91306085]
 [3.16087742]]

小批量梯度下降

Mini-Batch Gradient Descent

Mini-batch 梯度下降綜合了 batch 梯度下降與 stochastic 梯度下降，在每次更新速度與更新次數(shù)中間取得一個平衡，其每次更新從訓練集中隨機選擇 batch_size，batch_size < m 個樣本進行學習。相對于隨機梯度下降算法，小批量梯度下降算法降低了收斂波動性，即降低了參數(shù)更新的方差，使得更新更加穩(wěn)定。相對于全量梯度下降，其提高了每次學習的速度。并且其不用擔心內(nèi)存瓶頸從而可以利用矩陣運算進行高效計算。一般而言每次更新隨機選擇[50,256]個樣本進行學習，但是也要根據(jù)具體問題而選擇，實踐中可以進行多次試驗，選擇一個更新速度與更次次數(shù)都較適合的樣本數(shù)。

代碼實現(xiàn)：

import numpy as np
 
# 創(chuàng)建數(shù)據(jù)集X，y
X = 2*np.random.rand(100, 1)
y = 4 + 3*X + np.random.randn(100, 1)
X_b = np.c_[np.ones((100, 1)), X]
 
# 創(chuàng)建超參數(shù)
t0, t1 = 5, 500
 
# 定義一個函數(shù)來動態(tài)調(diào)整學習率
def learning_rate_schedule(t):
    return t0/(t+t1)
 
n_epochs = 100000
m = 100
batch_size = 10
num_batches = int(m / batch_size)
 
theta = np.random.randn(2, 1)
for epoch in range(n_epochs):
    arr = np.arange(len(X_b))
    np.random.shuffle(arr)
    X_b = X_b[arr]
    y = y[arr]
    for i in range(num_batches):
        x_batch = X_b[i*batch_size: i*batch_size + batch_size]
        y_batch = y[i*batch_size: i*batch_size + batch_size]
        gradients = x_batch.T.dot(x_batch.dot(theta)-y_batch)
        learning_rate = learning_rate_schedule(epoch * m + i)
        theta = theta - learning_rate*gradients
 
print(theta)