本書講解的是在R語言平臺上使用大數(shù)據(jù)技術(shù)構(gòu)建可擴展機器學(xué)習(xí)模型的新技術(shù)成果。它全面展示了如何采用機器學(xué)習(xí)算法在原始數(shù)據(jù)的基礎(chǔ)上構(gòu)建機器學(xué)習(xí)模型。本書還能讓那些希望利用ApacheHadoop、Hive、Pig和Spark來實現(xiàn)可擴展機器學(xué)習(xí)模型的讀者從中受益。

目錄

目錄
譯者序
關(guān)于作者
關(guān)于技術(shù)審稿人
致謝
第1章機器學(xué)習(xí)和R語言入門1
1.1了解發(fā)展歷程2
1.1.1統(tǒng)計學(xué)習(xí)2
1.1.2機器學(xué)習(xí)2
1.1.3人工智能3
1.1.4數(shù)據(jù)挖掘3
1.1.5數(shù)據(jù)科學(xué)4
1.2概率與統(tǒng)計5
1.2.1計數(shù)和概率的定義5
1.2.2事件和關(guān)系7
1.2.3隨機性、概率和分布8
1.2.4置信區(qū)間和假設(shè)檢驗9
1.3R語言入門13
1.3.1基本組成部分13
1.3.2R語言的數(shù)據(jù)結(jié)構(gòu)14
1.3.3子集處理15
1.3.4函數(shù)和Apply系列17
1.4機器學(xué)習(xí)過程工作流19
1.4.1計劃19
1.4.2探索19
1.4.3構(gòu)建20
1.4.4評估20
1.5其他技術(shù)20
1.6小結(jié)21
1.7參考資料21
第2章數(shù)據(jù)準(zhǔn)備和探索22
2.1規(guī)劃數(shù)據(jù)收集23
2.1.1變量類型23
2.1.2數(shù)據(jù)格式24
2.1.3數(shù)據(jù)源29
2.2初始數(shù)據(jù)分析30
2.2.1初步印象30
2.2.2把多個數(shù)據(jù)源組織到一起32
2.2.3整理數(shù)據(jù)34
2.2.4補充更多信息36
2.2.5重塑37
2.3探索性數(shù)據(jù)分析38
2.3.1摘要統(tǒng)計量38
2.3.2矩41
2.4案例研究：信用卡欺詐46
2.4.1數(shù)據(jù)導(dǎo)入46
2.4.2數(shù)據(jù)變換47
2.4.3數(shù)據(jù)探索48
2.5小結(jié)49
2.6參考資料49
第3章抽樣與重抽樣技術(shù)50
3.1介紹抽樣技術(shù)50
3.2抽樣的術(shù)語51
3.2.1樣本51
3.2.2抽樣分布52
3.2.3總?cè)后w的均值和方差52
3.2.4樣本均值和方差52
3.2.5匯總的均值和方差52
3.2.6抽樣點53
3.2.7抽樣誤差53
3.2.8抽樣率53
3.2.9抽樣偏誤53
3.2.10無放回的抽樣53
3.2.11有放回的抽樣54
3.3信用卡欺詐：總?cè)后w的統(tǒng)計量54
3.3.1數(shù)據(jù)描述54
3.3.2總?cè)后w的均值55
3.3.3總?cè)后w的方差55
3.3.4匯總的均值和方差55
3.4抽樣在業(yè)務(wù)上的意義58
3.4.1抽樣的特征59
3.4.2抽樣的缺點59
3.5概率和非概率抽樣59
3.5.1非概率抽樣的類型60
3.6關(guān)于抽樣分布的統(tǒng)計理論61
3.6.1大數(shù)定律61
3.6.2中心極限定理63
3.7概率抽樣技術(shù)66
3.7.1總?cè)后w的統(tǒng)計量66
3.7.2簡單隨機抽樣69
3.7.3系統(tǒng)性隨機抽樣74
3.7.4分層隨機抽樣77
3.7.5聚類抽樣82
3.7.6自助抽樣86
3.8蒙特卡羅方法：接受-拒絕91
3.9通過抽樣節(jié)省計算開銷的定性分析93
3.10小結(jié)94
第4章R語言里的數(shù)據(jù)可視化95
4.1ggplot2組件包簡介96
4.2世界經(jīng)濟發(fā)展指標(biāo)97
4.3折線圖97
4.4堆疊柱狀圖102
4.5散點圖106
4.6箱形圖107
4.7直方圖和密度圖109
4.8餅圖113
4.9相關(guān)圖114
4.10熱點圖116
4.11氣泡圖117
4.12瀑布圖120
4.13系統(tǒng)樹圖122
4.14關(guān)鍵字云124
4.15?；鶊D125
4.16時間序列圖127
4.17隊列圖128
4.18空間圖130
4.19小結(jié)133
4.20參考資料133
第5章特征工程135
5.1特征工程簡介136
5.1.1過濾器方法137
5.1.2包裝器方法137
5.1.3嵌入式方法138
5.2了解工作數(shù)據(jù)138
5.2.1數(shù)據(jù)摘要139
5.2.2因變量的屬性139
5.2.3特征的可用性：連續(xù)型或分類型141
5.2.4設(shè)置數(shù)據(jù)的假設(shè)142
5.3特征排名143
5.4變量子集的選擇146
5.4.1過濾器方法146
5.4.2包裝器方法149
5.4.3嵌入式方法154
5.5降維158
5.6特征工程核對清單161
5.7小結(jié)162
5.8參考資料162
第6章機器學(xué)習(xí)理論和實踐163
6.1機器學(xué)習(xí)的類型165
6.1.1有監(jiān)督學(xué)習(xí)166
6.1.2無監(jiān)督學(xué)習(xí)166
6.1.3半監(jiān)督學(xué)習(xí)166
6.1.4強化學(xué)習(xí)166
6.2機器學(xué)習(xí)算法的類別167
6.3實際環(huán)境的數(shù)據(jù)集170
6.3.1房產(chǎn)售價170
6.3.2購買偏好170
6.3.3Twitter訂閱和文章171
6.3.4乳腺癌171
6.3.5購物籃172
6.3.6亞馬遜美食評論172
6.4回歸分析173
6.5相關(guān)分析174
6.5.1線性回歸176
6.5.2簡單線性回歸177
6.5.3多元線性回歸180
6.5.4模型診斷：線性回歸182
6.5.5多項回歸191
6.5.6邏輯回歸194
6.5.7洛基（logit）變換195
6.5.8幾率比196
6.5.9模型診斷：邏輯回歸202
6.5.10多項邏輯回歸209
6.5.11廣義線性模型212
6.5.12結(jié)論213
6.6支持向量機213
6.6.1線性SVM214
6.6.2二元SVM分類模型215
6.6.3多類別SVM217
6.6.4結(jié)論218
6.7決策樹218
6.7.1決策樹的類型219
6.7.2決策指標(biāo)220
6.7.3決策樹學(xué)習(xí)方法222
6.7.4集成樹235
6.7.5結(jié)論240
6.8樸素貝葉斯方法241
6.8.1條件概率241
6.8.2貝葉斯定理241
6.8.3先驗概率242
6.8.4后驗概率242
6.8.5似然和邊際似然242
6.8.6樸素貝葉斯方法242
6.8.7結(jié)論246
6.9聚類分析246
6.9.1聚類方法簡介247
6.9.2聚類算法247
6.9.3內(nèi)部評估255
6.9.4外部評估256
6.9.5結(jié)論257
6.10關(guān)聯(lián)規(guī)則挖掘258
6.10.1關(guān)聯(lián)概念簡介258
6.10.2規(guī)則挖掘算法259
6.10.3推薦算法265
6.10.4結(jié)論270
6.11人工神經(jīng)網(wǎng)絡(luò)271
6.11.1人類認知學(xué)習(xí)271
6.11.2感知器272
6.11.3Sigmoid神經(jīng)元274
6.11.4神經(jīng)網(wǎng)絡(luò)的體系架構(gòu)275
6.11.5有監(jiān)督與無監(jiān)督的神經(jīng)網(wǎng)絡(luò)276
6.11.6神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法277
6.11.7前饋反向傳播278
6.11.8深度學(xué)習(xí)284
6.11.9結(jié)論289
6.12文本挖掘方法289
6.12.1文本挖掘簡介290
6.12.2文本摘要291
6.12.3TF-IDF292
6.12.4詞性標(biāo)注294
6.12.5關(guān)鍵字云297
6.12.6文本分析：MicrosoftCognitiveServices297
6.12.7結(jié)論305
6.13在線機器學(xué)習(xí)算法305
6.13.1模糊C均值聚類306
6.13.2結(jié)論308
6.14構(gòu)建模型的核對清單309
6.15小結(jié)309
6.16參考資料309
第7章機器學(xué)習(xí)模型的評估311
7.1數(shù)據(jù)集311
7.1.1房產(chǎn)售價312
7.1.2購買偏好313
7.2模型性能和評估入門314
7.3模型性能評估的目標(biāo)315
7.4總?cè)后w的穩(wěn)定性指數(shù)316
7.5連續(xù)型輸出的模型評估320
7.5.1平均絕對誤差321
7.5.2均方根誤差323
7.5.3R2324
7.6離散型輸出的模型評估326
7.6.1分類矩陣327
7.6.2靈敏度和特異性330
7.6.3ROC曲線下的面積331
7.7概率技術(shù)334
7.7.1K折交叉驗證334
7.7.2自助抽樣336
7.8Kappa誤差指標(biāo)337
7.9小結(jié)340
7.10參考資料341
第8章模型性能改進342
8.1機器學(xué)習(xí)和統(tǒng)計建模343
8.2Caret組件包概述344
8.3超參數(shù)簡介346
8.4超參數(shù)優(yōu)化348
8.4.1人工搜索349
8.4.2人工網(wǎng)格搜索351
8.4.3自動網(wǎng)格搜索353
8.4.4最優(yōu)搜索354
8.4.5隨機搜索356
8.4.6自定義搜索357
8.5偏誤和方差權(quán)衡359
8.5.1裝袋或自助聚合363
8.5.2增強363
8.6集成學(xué)習(xí)簡介363
8.6.1投票集成364
8.6.2集成學(xué)習(xí)中的高級方法365
8.7在R語言里演示集成技術(shù)367
8.7.1裝袋樹367
8.7.2決策樹的梯度增強369
8.7.3混合knn和rpart372
8.7.4利用caretEnemble進行堆疊374
8.8高級主題：機器學(xué)習(xí)模型的貝葉斯優(yōu)化377
8.9小結(jié)381
8.10參考資料382
第9章可擴展機器學(xué)習(xí)和相關(guān)技術(shù)384
9.1分布式處理和存儲384
9.1.1GoogleFileSystem385
9.1.2MapReduce386
9.1.3R語言里的并行執(zhí)行386
9.2Hadoop生態(tài)系統(tǒng)389
9.2.1MapReduce390
9.2.2Hive393
9.2.3ApachePig396
9.2.4HBase399
9.2.5Spark400
9.3在R語言環(huán)境下用Spark進行機器學(xué)習(xí)401
9.3.1設(shè)置環(huán)境變量401
9.3.2初始化Spark會話402
9.3.3加載數(shù)據(jù)并運行預(yù)處理402
9.3.4創(chuàng)建SparkDataFrame403
9.3.5構(gòu)建機器學(xué)習(xí)模型403
9.3.6對測試數(shù)據(jù)進行預(yù)測404
9.3.7終止SparkR會話404
9.4在R語言里利用H2O進行機器學(xué)習(xí)405
9.4.1安裝組件包406
9.4.2H2O集群的初始化406
9.4.3在R語言里使用H2O的深度學(xué)習(xí)演示407
9.5小結(jié)410
9.6參考資料411