《大數(shù)據(jù)與機(jī)器學(xué)習(xí):實(shí)踐方法與行業(yè)案例》從企業(yè)實(shí)踐出發(fā)，內(nèi)容覆蓋數(shù)據(jù)、平臺(tái)、分析和應(yīng)用等企業(yè)內(nèi)數(shù)據(jù)流轉(zhuǎn)的主要環(huán)節(jié)。布局上，按照數(shù)據(jù)與平臺(tái)篇、分析篇和應(yīng)用篇分別撰寫(xiě)。數(shù)據(jù)與平臺(tái)篇（第1~3章），立足找到數(shù)據(jù)、整合數(shù)據(jù)、使用數(shù)據(jù)三個(gè)角度，介紹數(shù)據(jù)在企業(yè)內(nèi)的分布和處理邏輯，以便快速為分析準(zhǔn)備素材。分析篇（第4~11章），選取企業(yè)實(shí)際案例，介紹常用的數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)算法，以業(yè)務(wù)場(chǎng)景為導(dǎo)向展示數(shù)據(jù)分析過(guò)程和技巧。應(yīng)用篇（第12~15章），選取當(dāng)前主流的四個(gè)應(yīng)用場(chǎng)景，介紹如何實(shí)現(xiàn)數(shù)據(jù)驅(qū)動(dòng)，讓數(shù)據(jù)“自動(dòng)”流轉(zhuǎn)于各個(gè)環(huán)節(jié)。

目錄

前言
第1部分　數(shù)據(jù)與平臺(tái)篇
第1章　數(shù)據(jù)與數(shù)據(jù)平臺(tái)3
1.1　數(shù)據(jù)的基本形態(tài)4
1.1.1　數(shù)據(jù)環(huán)境與數(shù)據(jù)形態(tài)4
1.1.2　生產(chǎn)數(shù)據(jù)5
1.1.3　原始數(shù)據(jù)5
1.1.4　分析數(shù)據(jù)6
1.2　數(shù)據(jù)平臺(tái)7
1.2.1　數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)9
1.2.2　大數(shù)據(jù)平臺(tái)13
1.2.3　MPP數(shù)據(jù)庫(kù)22
1.2.4　NoSQL數(shù)據(jù)庫(kù)23
1.3　應(yīng)用24
1.4　本章小結(jié)25
第2章　數(shù)據(jù)體系26
2.1　數(shù)據(jù)閉環(huán)27
2.2　數(shù)據(jù)緩沖區(qū)28
2.2.1　解耦29
2.2.2　批量導(dǎo)出31
2.2.3　FTP傳輸40
2.2.4　批量導(dǎo)入42
2.3　ETL49
2.3.1　ETL工具50
2.3.2　ETL作業(yè)52
2.4　作業(yè)調(diào)度56
2.5　監(jiān)控和預(yù)警56
2.5.1　使用監(jiān)控工具進(jìn)行監(jiān)控57
2.5.2　使用BI工具進(jìn)行監(jiān)控57
2.6　本章小結(jié)57
第3章　實(shí)戰(zhàn)：打造數(shù)據(jù)閉環(huán)59
3.1　數(shù)據(jù)緩沖區(qū)的基本規(guī)則60
3.1.1　文件存儲(chǔ)規(guī)則61
3.1.2　文件命名規(guī)則61
3.1.3　文件清理規(guī)則62
3.2　自動(dòng)加載的流程62
3.2.1　掃描文件63
3.2.2　下載文件64
3.2.3　解壓文件65
3.2.4　加載文件65
3.3　自動(dòng)加載程序的數(shù)據(jù)庫(kù)設(shè)計(jì)66
3.3.1　數(shù)據(jù)文件信息表67
3.3.2　數(shù)據(jù)文件狀態(tài)表68
3.3.3　加載配置信息表69
3.3.4　數(shù)據(jù)緩沖區(qū)信息表70
3.3.5　目標(biāo)服務(wù)器表70
3.4　自動(dòng)加載程序的多線(xiàn)程實(shí)現(xiàn)71
3.4.1　ScanFiles72
3.4.2　DownLoadAndUnZip75
3.4.3　LoadToHive77
3.4.4　LoadToOracle78
3.4.5　自動(dòng)加載程序的部署架構(gòu)79
3.4.6　程序的維護(hù)和優(yōu)化80
3.5　本章小結(jié)80
第二部分　分　析　篇
第4章　數(shù)據(jù)預(yù)處理83
4.1　數(shù)據(jù)表的預(yù)處理84
4.2　變量的預(yù)處理85
4.2.1　缺失值的處理85
4.2.2　極值的處理90
4.3　變量的設(shè)計(jì)91
4.3.1　暴力衍生91
4.3.2　交叉升維92
4.4　變量篩選95
4.4.1　篩選顯著變量95
4.4.2　剔除共線(xiàn)性96
4.5　本章小結(jié)100
第5章　聚類(lèi)，簡(jiǎn)單易用的客戶(hù)細(xì)分方法101
5.1　從客戶(hù)細(xì)分說(shuō)起102
5.1.1　為什么要做客戶(hù)細(xì)分102
5.1.2　怎么做客戶(hù)細(xì)分103
5.1.3　聚類(lèi)分析，無(wú)監(jiān)督的客戶(hù)細(xì)分方法107
5.2　譜系聚類(lèi)107
5.2.1　基本步驟107
5.2.2　案例：公司客戶(hù)差異化服務(wù)110
5.2.3　譜系聚類(lèi)方法的題外話(huà)115
5.3　K-means算法116
5.3.1　基本步驟116
5.3.2　案例：電商賣(mài)家細(xì)分117
5.3.3　K-means算法的題外話(huà)121
5.4　本章小結(jié)121
第6章　關(guān)聯(lián)規(guī)則挖掘，發(fā)現(xiàn)產(chǎn)品
加載和交叉銷(xiāo)售機(jī)會(huì)122
6.1　銷(xiāo)售的真諦：讓客戶(hù)買(mǎi)得更多123
6.1.1　案例：電商的生意經(jīng)123
6.1.2　案例：富國(guó)銀行的“商店”經(jīng)營(yíng)模式124
6.1.3　案例總結(jié)125
6.2　交叉銷(xiāo)售126
6.2.1　為什么要做交叉銷(xiāo)售126
6.2.2　怎么做交叉銷(xiāo)售126
6.3　關(guān)聯(lián)規(guī)則挖掘，發(fā)現(xiàn)交叉銷(xiāo)售機(jī)會(huì)128
6.3.1　Apriori算法129
6.3.2　Apriori算法的主要指標(biāo)129
6.3.3　Apriori算法的基本步驟131
6.4　案例：信用卡產(chǎn)品交叉銷(xiāo)售131
6.4.1　準(zhǔn)備數(shù)據(jù)132
6.4.2　SAS實(shí)現(xiàn)132
6.4.3　結(jié)果分析133
6.4.4　序列關(guān)聯(lián)分析136
6.4.5　結(jié)果應(yīng)用137
6.5　本章小結(jié)138
第7章　社交網(wǎng)絡(luò)分析，從“關(guān)系
的角度分析問(wèn)題139
7.1　先看幾張美輪美奐的圖片140
7.2　社交網(wǎng)絡(luò)分析方法142
7.2.1　定義142
7.2.2　應(yīng)用場(chǎng)景142
7.2.3　網(wǎng)絡(luò)識(shí)別算法143
7.3　案例：電商通過(guò)訂單數(shù)據(jù)識(shí)別供應(yīng)鏈144
7.3.1　供應(yīng)鏈及供應(yīng)鏈金融144
7.3.2　識(shí)別核心企業(yè)及其上下游關(guān)系144
7.3.3　分析結(jié)果的業(yè)務(wù)應(yīng)用149
7.4　案例：P2P投資防范151
7.4.1　案例背景151
7.4.2　防范方法152
7.5　本章小結(jié)153
第8章　線(xiàn)性回歸，預(yù)測(cè)客戶(hù)價(jià)值155
8.1　數(shù)值預(yù)測(cè)156
8.2　回歸與擬合157
8.2.1　回歸就是擬合157
8.2.2　在Excel中添加趨勢(shì)線(xiàn)預(yù)測(cè)158
8.3　案例：信用卡客戶(hù)價(jià)值預(yù)測(cè)159
8.3.1　確定預(yù)測(cè)目標(biāo)159
8.3.2　準(zhǔn)備建模數(shù)據(jù)161
8.3.3　模型擬合163
8.3.4　模型評(píng)估165
8.4　基于客戶(hù)價(jià)值分層的業(yè)務(wù)策略167
8.5　本章小結(jié)167
第9章　Logistic回歸，精準(zhǔn)營(yíng)銷(xiāo)的
主要支撐算法169
9.1　大數(shù)據(jù)時(shí)代的精準(zhǔn)營(yíng)銷(xiāo)170
9.1.1　精準(zhǔn)營(yíng)銷(xiāo)170
9.1.2　基于大數(shù)據(jù)的精準(zhǔn)營(yíng)銷(xiāo)模式171
9.1.3　如何做到精準(zhǔn)172
9.2　Logistic回歸算法介紹173
9.2.1　算法原理173
9.2.2　關(guān)鍵步驟174
9.3　案例：信用卡消費(fèi)信貸產(chǎn)品的精準(zhǔn)營(yíng)銷(xiāo)176
9.3.1　案例背景176
9.3.2　數(shù)據(jù)準(zhǔn)備176
9.3.3　數(shù)據(jù)預(yù)處理180
9.3.4　建模182
9.3.5　模型評(píng)估185
9.4　預(yù)測(cè)模型的應(yīng)用與評(píng)估189
9.5　本章小結(jié)189
第10章　決策樹(shù)類(lèi)算法，反欺詐
模型“專(zhuān)家”191
10.1　決策樹(shù)，重要的分類(lèi)器191
10.2　決策樹(shù)的關(guān)鍵思想192
10.2.1　理財(cái)客戶(hù)畫(huà)像案例背景192
10.2.2　關(guān)鍵思想1：遞歸劃分194
10.2.3　關(guān)鍵思想二：剪枝197
10.3　案例：電商盜卡交易識(shí)別198
10.3.1　案例背景198
10.3.2　以SAS實(shí)現(xiàn)199
10.3.3　以Clementine實(shí)現(xiàn)201
10.3.4　以R實(shí)現(xiàn)204
10.4　隨機(jī)森林208
10.5　本章小結(jié)209
第11章　數(shù)據(jù)可視化，是分析更是
設(shè)計(jì)210
11.1　數(shù)據(jù)演示之道210
11.1.1　好“色”之圖211
11.1.2　版式有形212
11.1.3　數(shù)據(jù)發(fā)聲214
11.2　個(gè)性化地圖215
11.2.1　案例背景：存款增長(zhǎng)率指標(biāo)展示215
11.2.2　獲取地理位置的經(jīng)緯度數(shù)據(jù)216
11.2.3　定制地圖背景和圖標(biāo)217
11.2.4　生成地圖220
11.3　文本分析222
11.3.1　案例：電商的客戶(hù)評(píng)價(jià)分析222
11.3.2　分詞223
11.3.3　詞云制作224
11.3.4　情感分析225
11.4　本章小結(jié)227
第三部分　應(yīng)　用　篇
第12章　標(biāo)簽231
12.1　認(rèn)識(shí)標(biāo)簽231
12.2　標(biāo)簽的設(shè)計(jì)233
12.2.1　標(biāo)簽的層次結(jié)構(gòu)233
12.2.2　標(biāo)簽的更新規(guī)則233
12.2.3　機(jī)器學(xué)習(xí)模型轉(zhuǎn)化為標(biāo)簽235
12.3　標(biāo)簽的實(shí)現(xiàn)236
12.3.1　標(biāo)簽映射表237
12.3.2　標(biāo)簽的前端實(shí)現(xiàn)238
12.3.3　標(biāo)簽的數(shù)據(jù)后端實(shí)現(xiàn)238
12.3.4　標(biāo)簽的在線(xiàn)接口實(shí)現(xiàn)242
12.4　本章小結(jié)242
第13章　數(shù)據(jù)自助營(yíng)銷(xiāo)平臺(tái)244
13.1　數(shù)據(jù)自助營(yíng)銷(xiāo)平臺(tái)的價(jià)值所在245
13.1.1　自動(dòng)化營(yíng)銷(xiāo)，提升工作效率245
13.1.2　降低營(yíng)銷(xiāo)成本，提升用戶(hù)體驗(yàn)247
13.1.3　個(gè)性化營(yíng)銷(xiāo)，提升響應(yīng)率248
13.1.4　統(tǒng)1管理，便于效果追蹤249
13.2　數(shù)據(jù)自助營(yíng)銷(xiāo)平臺(tái)的實(shí)現(xiàn)原則249
13.2.1　數(shù)據(jù)營(yíng)銷(xiāo)活動(dòng)的節(jié)點(diǎn)249
13.2.2　數(shù)據(jù)自助營(yíng)銷(xiāo)平臺(tái)的基礎(chǔ)：標(biāo)簽251
13.2.3　數(shù)據(jù)自助營(yíng)銷(xiāo)平臺(tái)的批量任務(wù)252
13.2.4　實(shí)時(shí)數(shù)據(jù)營(yíng)銷(xiāo)254
13.3　數(shù)據(jù)自助營(yíng)銷(xiāo)平臺(tái)的場(chǎng)景實(shí)例254
13.3.1　客戶(hù)生命周期管理254
13.3.2　用卡激勵(lì)計(jì)劃257
13.4　本章小結(jié)260
第14章　基于Mahout的個(gè)性化261
14.1　Mahout的引擎262
14.1.1　Mahout的安裝配置262
14.1.2　Mahout的使用方式263
14.1.3　協(xié)同過(guò)濾算法264
14.1.4　Mahout的引擎265
14.2　規(guī)模與效率268
14.2.1　Mahout算法的適用范圍268
14.2.2　通過(guò)分布式解決規(guī)模和效率的問(wèn)題270
14.3　實(shí)現(xiàn)1個(gè)275
14.3.1　框架275
14.3.2　的刷新276
14.3.3　部署1個(gè)可用的276
14.4　本章小結(jié)280
第15章　圖計(jì)算與社會(huì)網(wǎng)絡(luò)281
15.1　社會(huì)網(wǎng)絡(luò)和屬性圖282
15.2　Spark GraphX與Neo4j283
15.2.1　Scala編程語(yǔ)言284
15.2.2　Cypher查詢(xún)語(yǔ)言285
15.3　使用Spark GraphX和Neo4j處理社會(huì)網(wǎng)絡(luò)286
15.3.1　背景說(shuō)明286
15.3.2　數(shù)據(jù)準(zhǔn)備286
15.3.3　Spark GraphX處理原始網(wǎng)絡(luò)287
15.3.4　Neo4j交互式查詢(xún)分析291
15.3.5　更多的應(yīng)用場(chǎng)景295
15.4　本章小結(jié)296