人工神經(jīng)網(wǎng)絡(luò)需要一定的數(shù)學(xué)基礎(chǔ)，但是一般來說比較簡單，簡單的高數(shù)基礎(chǔ)即可，這里整理了一些所需要的最基礎(chǔ)的概念的理解，對于神經(jīng)網(wǎng)絡(luò)的入門，非?；A(chǔ)和重要，而且理解了之后，會發(fā)現(xiàn)介紹不需要在看，磨刀不誤砍柴工，強(qiáng)烈建議理解清楚之后在去使用諸如tensorflow這樣的利器。

自變量/因變量/函數(shù)

因?yàn)镋文文檔的閱讀時不可避免的接觸這些內(nèi)容，一般將英文也列出來，盡量記住，閱讀時會大大提高速度。

導(dǎo)數(shù)

作為高數(shù)最為基礎(chǔ)的導(dǎo)數(shù)概念，這里不在贅述，簡單烈一下內(nèi)容能夠大體理解即可, 借用一張圖形來進(jìn)行解釋： 

基本概念

導(dǎo)數(shù)/偏導(dǎo)數(shù)/方向?qū)?shù)/梯度，這四個概念無比重要，無比理解，簡單整理如下，比如在理解BP算法有所困難時請以此四概念為中心重新學(xué)習(xí)相關(guān)部分高數(shù)內(nèi)容。

為何線性分類模型無法處理異或問題

異或是計(jì)算機(jī)中非常簡單的操作，而諸如感知機(jī)這樣的線性模型則無法解決異或問題的分類。嚴(yán)格的證明可以參看Minsky的文章。

簡單地來看，根據(jù)結(jié)果進(jìn)行分類，可以分為兩類（0/1），但是如果顯示在一個平面上，你會發(fā)現(xiàn)無法找到一條直線將這兩類結(jié)果直接分開，所以可以直觀地看出是線性分類模型連異或這種簡單的分類都無法解決。

而這個悲傷的觀點(diǎn)，早在1969年Minsky就曾經(jīng)在著名的Perceptron中已經(jīng)被詳細(xì)地證明了，從而帶來了后來人工智能長達(dá)10年左右的冰凍期。這個問題并非無解，使用兩層的感知機(jī)即可解決這種問題，但是Minsky認(rèn)為，這將會帶來巨大的計(jì)算量而且沒有有效的學(xué)習(xí)算法，直到諸如BP等算法的出現(xiàn)。1986年，Rumelhart，Geoffrey Hinton和Ronald Williams所發(fā)表的Learning representations by back-propagating errors一文中引入了BP算法到神經(jīng)網(wǎng)絡(luò)模型之中，通過在神經(jīng)網(wǎng)絡(luò)中添加隱含層，同時將誤差進(jìn)行反向傳播，將糾錯的運(yùn)算量下降到僅和神經(jīng)元數(shù)目成正比的程度，解決了感知機(jī)的異或分類問題，同時為多層感知機(jī)的模型提供了學(xué)習(xí)算法。

回歸分析

在算法的入門時會學(xué)習(xí)使用線性回歸和邏輯回歸等，所以需要對回歸分析有一定的了解?；貧w分析研究的是因變量和自變量之間的關(guān)系，在預(yù)測模型中被廣泛地應(yīng)用。自變量的個數(shù)/因變量的類型/回歸線的形狀都是需要考慮的，常見的回歸分析方式如下：

• Linear Regression：線性回歸
• Logistic Regression：邏輯回歸
• Polynomial Regression：多項(xiàng)式回歸
• Lasso Regression：套索回歸
• ElasticNet Regression：ElasticNet回歸

詳細(xì)可參看：

https://www.analyticsvidhya.com/blog/2015/08/comprehensive-guide-regression/

小結(jié)

時至今日，1986年所提出的應(yīng)用與多層神經(jīng)網(wǎng)絡(luò)的誤差反向傳播的BP算法仍在活躍，雖然人工智能非?；馃?，但是冷飯熱炒的嫌疑仍然存在。在1969年Minsky先生隨手提出的線性感知機(jī)模型無法解決異或分類以及多層模型所需要的巨大計(jì)算量的問題在將近五十年的時間才有了一點(diǎn)突破。

總結(jié)

以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，謝謝大家對腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請查看下面相關(guān)鏈接

最新評論