大數(shù)據(jù)的搜索與挖掘，在當今的“互聯(lián)網(wǎng)+”時代是很有必要的。本書提出的分布式大數(shù)據(jù)搜索與日志挖掘及可視化方案是基于ELK Stack而提出的，它能有效應對海量大數(shù)據(jù)所帶來的分布式存儲與處理、全文檢索、日志挖掘、可視化等問題。構建在全文檢索開源軟件Lucene之上的Elasticsearch，不僅能對海量規(guī)模的數(shù)據(jù)完成分布式索引與檢索，還能提供數(shù)據(jù)聚合分析。據(jù)國際的數(shù)據(jù)庫產(chǎn)品評測機構DB?Engines的統(tǒng)計，在2016年1月，Elasticsearch已超過Solr等，成為排名前列的搜索引擎類應用；Logstash能有效處理來源于各種數(shù)據(jù)源的日志信息；Kibana能得出可視化分析結果。了解基于ELK Stack的大數(shù)據(jù)搜索與日志挖掘及可視化方案，掌握Elasticsearch、Logstash、Kibana的基本使用方法和技巧，很有必要。

全書以模塊化的方式進行組織。和初版相比，本書力求反映ELK Stack的新成果，內(nèi)容新穎、強調(diào)實踐。本書也可為高等學校相關專業(yè)（如計算機科學與技術、軟件工程、物聯(lián)網(wǎng)、信息管理與信息系統(tǒng)）學生的學習和科研工作提供幫助，同時對于從事大數(shù)據(jù)搜索與挖掘、日志分析、信息可視化技術的工程技術人員和希望了解網(wǎng)絡信息檢索技術的人員也具有較高的參考價值和工程應用價值。

目錄
第1章概述1
1.1Elasticsearch的安裝與簡單配置3
1.2走進Elasticsearch6
1.2.1相關概念6
1.2.2Elasticsearch API的簡單使用方式8
1.2.3部分插件簡介9
1.2.4Elasticsearch 基本架構11
1.3Elasticsearch索引及其構建12
1.3.1概述12
1.3.2借助Head工具構建索引12
1.3.3Mapping簡述14
1.4信息檢索及其構建15
1.5中文分詞插件16
1.6實例20
1.7擴展知識與閱讀25
1.8本章小結25
第2章文檔索引及管理26
2.1文檔索引概述26
2.2建立索引28
2.3通過映像Mapping配置索引32
2.3.1在索引中使用映像33
2.3.2管理/配置映像33
2.3.3獲取映像信息34
2.3.4刪除映像35
2.4管理索引文件362.4.1打開、關閉、檢測、刪除索引文件36
2.4.2清空索引緩存36
[1][2][1][3]2.4.3刷新索引數(shù)據(jù)37
2.4.4優(yōu)化索引數(shù)據(jù)37
2.4.5flush操作37
2.5設置中文分詞器38
2.6對文檔的其他操作39
2.6.1獲取指定的文檔信息39
2.6.2刪除文檔中的信息41
2.6.3數(shù)據(jù)更新41
2.6.4基于POST方式批量獲取文檔44
2.6.5刪除部分文檔46
2.7實例46
2.8擴展知識與閱讀49
2.9本章小結50
第3章信息檢索與結果過濾51
3.1實驗數(shù)據(jù)集描述52
3.2簡單檢索53
3.3基本檢索55
3.3.1設置不同字段的排序權重55
3.3.2指定返回的字段子集55
3.3.3term查詢、terms查詢、wildcard通配符查詢58
3.3.4match、match_all、match_phrase查詢59
3.3.5query_string查詢60
3.3.6prefix、range查詢61
3.3.7more_like_this、fuzzy_like_this查詢63
3.3.8跨字段檢索64
3.4filter概述65
3.5常用filter及其應用67
3.5.1and filter及or filter67
3.5.2bool filter68
3.5.3exists filter和missing filter68
3.5.4type filter69
3.5.5match_all filter69
3.5.6not filter70
3.5.7query filter70
3.6復合查詢71
3.7結果排序74
3.8實例75
3.9擴展知識與閱讀79
3.10本章小結79
第4章信息統(tǒng)計分析與搜索提示80
4.1facets概述81
4.2各種不同的facets統(tǒng)計82
4.2.1terms facets: 指定字段的分布情況統(tǒng)計82
4.2.2range facets: 在某個范圍的分布情況統(tǒng)計86
4.2.3histogram facets89
4.2.4date_histogram facets92
4.2.5statistical facets94
4.2.6terms_stats facets96
4.3aggregations97
4.3.1概述97
4.3.2最值、求和、均值統(tǒng)計98
4.3.3stats aggregation及extended stats aggregation101
4.3.4terms aggregations103
4.3.5range aggregations108
4.3.6date_range aggregations111
4.3.7histogram aggregations111
4.3.8date_histogram aggregations114
4.3.9filter aggregations117
4.3.10missing aggregations119
4.4搜索提示121
4.5實例122
4.6擴展知識與閱讀127
4.7本章小結127
第5章Elasticsearch部分功能的Java客戶端實現(xiàn)129
5.1Elasticsearch節(jié)點實例化129
5.1.1通過Maven添加對Elasticsearch依賴130
5.1.2初始化Elasticsearch Client132
5.2索引數(shù)據(jù)133
5.2.1準備json數(shù)據(jù)133
5.2.2索引json數(shù)據(jù)135
5.3對索引文檔的操作137
5.3.1獲取索引文檔137
5.3.2刪除索引文檔138
5.3.3更新索引文檔139
5.3.4批量操作索引文件140
5.3.5簡單的統(tǒng)計操作141
5.4信息檢索142
5.4.1概述142
5.4.2multiSearch143
5.4.3Query DSL概述144
5.4.4matchQuery145
5.4.5matchAllQuery146
5.4.6multiMatchQuery146
5.4.7boolQuery147
5.4.8termQuery148
5.4.9wildcardQuery149
5.4.10queryString149
5.4.11moreLikeThis150
5.4.12filter概述151
5.4.13termFilter152
5.4.14existsFilter152
5.4.15matchAllFilter153
5.4.16queryFilter153
5.4.17rangeFilter154
5.4.18typeFilter155
5.4.19過濾器間的組合: boolFilter、notFilter、orFilter、andFilter155
5.5統(tǒng)計分析157
5.5.1facets157
5.5.2aggregations158
5.6對檢索結果的進一步處理160
5.6.1控制每頁的顯示數(shù)量及顯示排序依據(jù)160
5.6.2基于Scroll方法的檢索結果及其分頁161
5.6.3高亮顯示檢索詞163
5.7實例164
5.7.1連接Elasticsearch164
5.7.2信息采集與索引構建165
5.7.3搜索模塊的實現(xiàn)167
5.7.4推薦模塊的實現(xiàn)169
5.8擴展知識與閱讀170
5.9本章小結170
第6章Elasticsearch配置與集群管理171
6.1Elasticsearch部分基本配置及其說明171
6.2提高索引和查詢效率的策略174
6.3監(jiān)控集群狀態(tài)176
6.4控制索引分片與副本分配178
6.5集群管理180
6.6擴展知識與閱讀181
6.7本章小結181
第7章基于Logstash的日志處理182
7.1概述183
7.2input: 處理輸入的日志數(shù)據(jù)185
7.2.1處理基于file方式輸入的日志信息186
7.2.2處理基于generator產(chǎn)生的日志信息187
7.2.3處理基于log4j的日志信息188
7.2.4處理基于redis的日志信息189
7.2.5處理基于stdin方式輸入的信息193
7.2.6處理基于TCP傳輸?shù)娜罩緮?shù)據(jù)193
7.2.7處理基于UDP傳輸?shù)娜罩緮?shù)據(jù)197
7.3codecs: 格式化日志數(shù)據(jù)199
7.3.1json格式199
7.3.2rubydebug格式201
7.3.3plain格式202
7.4基于filter的日志處理與轉(zhuǎn)換202
7.4.1json filter203
7.4.2grok filter204
7.4.3kv filter206
7.5output: 處理輸出的日志數(shù)據(jù)208
7.5.1將處理后的日志輸出到Elasticsearch中208
7.5.2將處理后的日志輸出至文件中210
7.5.3將處理后的部分日志輸出到csv格式的文件中211
7.5.4將處理后的日志輸出到redis中212
7.5.5將處理后的部分日志通過UDP協(xié)議輸出214
7.5.6將處理后的部分日志通過TCP協(xié)議輸出216
7.5.7將收集到的日志信息傳輸?shù)阶远x的HTTP接口中220
7.6擴展知識與閱讀220
7.7本章小結221
第8章基于Kibana的數(shù)據(jù)分析可視化222
8.1安裝Kibana223
8.2Kibana概述224
8.2.1在儀表盤上添加新行226
8.2.2在行中添加新面板226
8.2.3設置Query和Filtering228
8.3常用面板類型230
8.3.1histogram230
8.3.2table233
8.3.3map和bettermap234
8.3.4terms234
8.3.5text236
8.3.6sparklines237
8.3.7trends238
8.4網(wǎng)站性能監(jiān)控可視化應用的設計與實現(xiàn)238
8.4.1概述239
8.4.2Page View240
8.4.3響應/請求時間241
8.4.4流量走勢與統(tǒng)計242
8.4.5狀態(tài)碼監(jiān)控245
8.4.6UA行248
8.5Kibana V4簡介249
8.5.1新建視圖250
8.5.2建立Dashboard252
8.5.3配置252
8.6擴展知識與閱讀253
8.7本章小結254
第9章網(wǎng)絡信息檢索與分析實踐255
9.1信息采集255
9.2基于Python的信息檢索及Web端設計260
9.2.1安裝 Python及Django260
9.2.2安裝 Elasticsearch的Python插件261
9.2.3Web頁面設計262
9.3基于Logstash的日志處理265
9.3.1安裝和配置Nginx266
9.3.2設計面向日志文件的模式266
9.3.3在Logstash中進行相關配置267
9.4基于Kibana的日志分析結果可視化設計與實現(xiàn)268
9.4.1圖表1: 狀態(tài)碼走勢分析269
9.4.2圖表2: 查詢詞分析271
9.4.3圖表3: 分析各狀態(tài)碼隨時間的變遷情況272
9.4.4集成上述圖表273
9.5擴展知識與閱讀274
9.6本章小結274
參考文獻275