對于很多企業(yè)而言，大數(shù)據(jù)的重要性不言而喻，但是如何構(gòu)建、實(shí)施和應(yīng)用大數(shù)據(jù)系統(tǒng)卻是一個復(fù)雜工程。本書讓讀者認(rèn)識到大數(shù)據(jù)不僅僅是數(shù)據(jù)、技術(shù)、架構(gòu)、應(yīng)用，更是結(jié)合了商業(yè)模式、戰(zhàn)略定位、信息安全、單位協(xié)同、組織保障、實(shí)施選型的完整體系。

本書內(nèi)容從大數(shù)據(jù)的規(guī)劃定位、組織實(shí)施和價值提升三個維度展開，兼顧從整體性、全局性、安全性、價值性、技術(shù)性、體系性等方面的考慮。

第一部分：企業(yè)大數(shù)據(jù)戰(zhàn)略規(guī)劃

主要從宏觀的角度介紹大數(shù)據(jù)的定位、組織保障、解決方案選擇和自主實(shí)施思路，目的是從全局角度引導(dǎo)建立大數(shù)據(jù)工作的整體思維。

第二部分：企業(yè)大數(shù)據(jù)落地實(shí)施

主要從執(zhí)行層面介紹了大數(shù)據(jù)落地相關(guān)的技術(shù)、架構(gòu)、開發(fā)、大數(shù)據(jù)工作流、應(yīng)用和價值評估，直接以落地視角解讀大數(shù)據(jù)工作中每個環(huán)節(jié)涉及到的流程、知識和方法，這也是本書的核心章節(jié)。

第三部分：大數(shù)據(jù)價值、變革和挑戰(zhàn)

主要涉及大數(shù)據(jù)的社會價值、當(dāng)前問題和挑戰(zhàn)以及大數(shù)據(jù)的未來趨勢，這是對現(xiàn)有大數(shù)據(jù)工作的延展以及未來趨勢的探索。

目錄

Contents 目　　錄
前言
第1章 企業(yè)大數(shù)據(jù)戰(zhàn)略定位 1
1.1 宏觀 1
1.2 微觀 4
1.2.1 資源協(xié)同 5
1.2.2 戰(zhàn)略定位 6
1.2.3 啟動契機(jī) 7
1.2.4 大數(shù)據(jù)歷程 9
1.3 本章小結(jié) 12
第2章 企業(yè)大數(shù)據(jù)職能規(guī)劃 13
2.1 大數(shù)據(jù)組織架構(gòu)體系 13
2.1.1 大數(shù)據(jù)部門在企業(yè)中的角色 13
2.1.2 常見的大數(shù)據(jù)職能及職責(zé) 17
2.2 大數(shù)據(jù)職位構(gòu)建體系 24
2.2.1 基礎(chǔ)平臺類 24
2.2.2 數(shù)據(jù)管理類 26
2.2.3 技術(shù)研發(fā)類 27
2.2.4 產(chǎn)品設(shè)計(jì)類 30
2.2.5 數(shù)據(jù)挖掘類 32
2.2.6 數(shù)據(jù)分析類 33
2.3 大數(shù)據(jù)制度和流程規(guī)范 35
2.3.1 制度和流程規(guī)范意義 35
2.3.2 制度和流程規(guī)范內(nèi)容 35
2.3.3 制度和流程規(guī)范模板 42
2.4 本章小結(jié) 44
第3章 企業(yè)大數(shù)據(jù)解決方案 45
3.1 企業(yè)大數(shù)據(jù)解決方案實(shí)現(xiàn)方式 45
3.1.1 獨(dú)立研發(fā) 45
3.1.2 第三方解決方案 46
3.1.3 聯(lián)合開發(fā) 57
3.2 如何選擇解決方案 58
3.2.1 外部環(huán)境分析 58
3.2.2 內(nèi)部環(huán)境分析 59
3.2.3 需求規(guī)劃分析 62
3.2.4 解決方案特性分析 63
3.2.5 解決方案費(fèi)用評估 67
3.3 本章小結(jié) 70
第4章 企業(yè)大數(shù)據(jù)自主實(shí)施思路 71
4.1 制定規(guī)劃原則 71
4.1.1 價值性 71
4.1.2 實(shí)時性 72
4.1.3 高效性 72
4.1.4 安全性 72
4.1.5 延展性 73
4.1.6 全局性 74
4.2 制定目標(biāo)藍(lán)圖 75
4.3 制定建設(shè)目標(biāo) 76
4.4 明確組織規(guī)劃 78
4.4.1 組織結(jié)構(gòu)設(shè)計(jì)的作用 79
4.4.2 組織結(jié)構(gòu)設(shè)立的導(dǎo)向 79
4.4.3 組織結(jié)構(gòu)的最終設(shè)立 81
4.5 設(shè)計(jì)技術(shù)方案 85
4.5.1 大數(shù)據(jù)系統(tǒng)建設(shè)方案 85
4.5.2 大數(shù)據(jù)系統(tǒng)與傳統(tǒng)BI的融合方案 91
4.6 制定人才規(guī)劃 94
4.6.1 指導(dǎo)思想 94
4.6.2 規(guī)劃原則 94
4.6.3 核心內(nèi)容 95
4.7 投入產(chǎn)出評估 97
4.7.1 數(shù)據(jù)投入與產(chǎn)出的內(nèi)涵 97
4.7.2 數(shù)據(jù)投入與產(chǎn)出的特征 98
4.7.3 數(shù)據(jù)投入與產(chǎn)出的管理 99
4.8 數(shù)據(jù)風(fēng)險(xiǎn)管理 105
4.8.1 數(shù)據(jù)風(fēng)險(xiǎn)管理的概念 105
4.8.2 數(shù)據(jù)風(fēng)險(xiǎn)管理的類型 106
4.8.3 數(shù)據(jù)風(fēng)險(xiǎn)管理的原則 109
4.8.4 數(shù)據(jù)風(fēng)險(xiǎn)管理與控制 110
4.9 本章小結(jié) 114
第5章 大數(shù)據(jù)技術(shù)介紹 115
5.1 核心技術(shù) 115
5.1.1 Hadoop生態(tài) 115
5.1.2 NoSQL 142
5.1.3 實(shí)時計(jì)算 150
5.1.4 全文檢索 160
5.2 相關(guān)技術(shù) 204
5.2.1 數(shù)據(jù)可視化 204
5.2.2 數(shù)據(jù)緩存 220
5.2.3 中間件 227
5.2.4 關(guān)系型數(shù)據(jù)庫 236
5.2.5 數(shù)據(jù)ETL 245
5.3 大數(shù)據(jù)算法庫 250
5.4 本章小結(jié) 276
第6章 大數(shù)據(jù)架構(gòu)設(shè)計(jì) 277
6.1 大數(shù)據(jù)架構(gòu)設(shè)計(jì)原則 277
6.2 大數(shù)據(jù)核心架構(gòu)要素 279
6.3 大數(shù)據(jù)架構(gòu)設(shè)計(jì)模式 284
6.4 本章小結(jié) 289
第7章 大數(shù)據(jù)技術(shù)開發(fā) 290
7.1 數(shù)據(jù)采集 290
7.1.1 批量采集 291
7.1.2 增量采集 292
7.2 數(shù)據(jù)存儲 293
7.2.1 HDFS文件存儲引擎 294
7.2.2 Hive數(shù)據(jù)存儲引擎 295
7.2.3 HBase列式存儲引擎 295
7.2.4 MySQL關(guān)系型數(shù)據(jù)存儲引擎 296
7.3 多維計(jì)算 296
7.4 功能服務(wù) 299
7.5 平臺管理 301
7.5.1 監(jiān)控管理 301
7.5.2 調(diào)度管理 302
7.5.3 權(quán)限管理 304
7.6 應(yīng)用域 307
7.7 本章小結(jié) 308
第8章 大數(shù)據(jù)工作流 309
8.1 數(shù)據(jù)源 310
8.1.1 日志/文件 310
8.1.2 數(shù)據(jù)庫 310
8.1.3 網(wǎng)絡(luò)爬蟲 311
8.1.4 第三方API/合作 311
8.2 數(shù)據(jù)處理 312
8.2.1 數(shù)據(jù)質(zhì)量校驗(yàn) 312
8.2.2 清洗轉(zhuǎn)換 316
8.2.3 質(zhì)量提升 320
8.2.4 數(shù)據(jù)脫敏 321
8.2.5 集成整合 323
8.3 數(shù)據(jù)存儲 324
8.3.1 關(guān)系型數(shù)據(jù)庫 324
8.3.2 分布式文件系統(tǒng) 325
8.4 數(shù)據(jù)計(jì)算 325
8.4.1 三種數(shù)據(jù)計(jì)算時效性 325
8.4.2 結(jié)構(gòu)化數(shù)據(jù)計(jì)算 327
8.4.3 半/非結(jié)構(gòu)化數(shù)據(jù)計(jì)算 333
8.4.4 深度挖掘?qū)W習(xí) 360
8.5 數(shù)據(jù)應(yīng)用 376
8.5.1 輔助決策 376
8.5.2 數(shù)據(jù)驅(qū)動 377
8.6 數(shù)據(jù)質(zhì)量管理 379
8.6.1 數(shù)據(jù)質(zhì)量建設(shè)的內(nèi)涵 379
8.6.2 影響數(shù)據(jù)質(zhì)量的常見因素 380
8.6.3 數(shù)據(jù)質(zhì)量建設(shè)的框架 381
8.7 本章小結(jié) 392
第9章 企業(yè)大數(shù)據(jù)業(yè)務(wù)應(yīng)用 393
9.1 大數(shù)據(jù)應(yīng)用場景概述 393
9.1.1 場景商業(yè)目的分析 394
9.1.2 場景數(shù)據(jù)來源分析 394
9.1.3 場景數(shù)據(jù)難易分析 397
9.1.4 場景應(yīng)用舉例 397
9.2 用戶畫像 407
9.2.1 業(yè)務(wù)應(yīng)用背景 407
9.2.2 主要實(shí)現(xiàn)過程 408
9.2.3 關(guān)鍵應(yīng)用場景 414
9.2.4 應(yīng)用價值提煉 415
9.2.5 場景總結(jié)回顧 417
9.3 個性化營銷 419
9.3.1 業(yè)務(wù)應(yīng)用背景 419
9.3.2 主要實(shí)現(xiàn)過程 421
9.3.3 關(guān)鍵應(yīng)用場景 424
9.3.4 應(yīng)用價值提煉 425
9.3.5 場景總結(jié)回顧 426
9.4 精準(zhǔn)廣告 427
9.4.1 業(yè)務(wù)應(yīng)用背景 427
9.4.2 主要實(shí)現(xiàn)過程 429
9.4.3 關(guān)鍵應(yīng)用場景 438
9.4.4 應(yīng)用價值提煉 439
9.4.5 場景總結(jié)回顧 440
9.5 征信 441
9.5.1 應(yīng)用場景背景 441
9.5.2 主要實(shí)現(xiàn)過程 442
9.5.3 主要應(yīng)用場景 447
9.5.4 應(yīng)用價值提煉 449
9.5.5 場景總結(jié)回顧 449
9.6 本章小結(jié) 450
第10章　企業(yè)大數(shù)據(jù)價值評估 451
10.1　資產(chǎn)價值 451
10.1.1　數(shù)據(jù)規(guī)模 451
10.1.2　數(shù)據(jù)價值度 452
10.1.3　數(shù)據(jù)鮮活性 454
10.1.4　數(shù)據(jù)關(guān)聯(lián)維度 454
10.1.5　數(shù)據(jù)粒度 455
10.2　業(yè)務(wù)價值 455
10.2.1　用戶體驗(yàn)提升 455
10.2.2　運(yùn)營優(yōu)化 457
10.2.3　銷售貢獻(xiàn) 460
10.2.4　供應(yīng)鏈優(yōu)化 461
10.3　本章小結(jié) 462
第11章　大數(shù)據(jù)的社會價值 463
11.1　民生價值 463
11.2　政務(wù)價值 465
11.3　產(chǎn)業(yè)價值 468
11.4　本章小結(jié) 470
第12章　大數(shù)據(jù)當(dāng)前問題及挑戰(zhàn) 471
12.1　數(shù)據(jù)挑戰(zhàn) 471
12.2　安全挑戰(zhàn) 472
12.3　價值挑戰(zhàn) 474
12.4　認(rèn)知挑戰(zhàn) 475
12.5　技術(shù)挑戰(zhàn) 478
12.6　人才挑戰(zhàn) 480
12.7　本章小結(jié) 481
第13章　大數(shù)據(jù)未來趨勢 482
13.1　價值資產(chǎn)化 482
13.2　產(chǎn)業(yè)生態(tài)化 487
13.3　主體社會化 490
13.4　應(yīng)用智能化 491
13.5　本章小結(jié) 492