使用Docker搭建ELK日志系統(tǒng)的方法示例
以下安裝都是以 ~/ 目錄作為安裝根目錄。
ElasticSearch
下載鏡像：
$ sudo docker pull elasticsearch:5.5.0
運(yùn)行ElasticSearch容器：
$ sudo docker run -it -d -p 9200:9200 -p 9300:9300 \ -v ~/elasticsearch/data:/usr/share/elasticsearch/data \ --name myes elasticsearch:5.5.0
特別注意的是如果使用v6以上版本會(huì)出現(xiàn)jdk的錯(cuò)誤，我們查看日志
$ docker logs -f myes
查看日志：
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
網(wǎng)上找到大概的意思是：
jdk9對(duì)elasticSearch不太友好（版本太新），必須使用JDK8，本人使用的是JDK8u152(jdk-8u152-windows-x64.exe)。如果使用JDK9，使用elasticSearch-rtf(v5.1.1)，會(huì)出現(xiàn)下面的錯(cuò)誤，請(qǐng)?zhí)貏e注意，elasticSearch6.0的版本則必須使用JDK9，否則官網(wǎng)下載的msi不能安裝成功，原因還沒有去仔細(xì)檢查。
所以也是一個(gè)很坑的問題，所以我直接就安裝v5.5.0穩(wěn)定版本吧。
Logstash
下載鏡像：
$ sudo docker pull logstash:5.5.0
新建配置文件：
$ mkdir ~/logstash/conf.d && cd logstash/conf.d $ vim logstash.conf
logstash.conf：
input {
beats {
port => 5044 # 此端口需要與 filebeat.yml 中的端口相同
}
file {
path => "/data/logs"
# start_position => "beginning"
}
}
filter {
#grok {
# match => { "message" => "%{COMBINEDAPACHELOG}" }
#}
#date {
# match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"]
#}
grok {
patterns_dir => "/etc/logstash/conf.d/patterns"
match => {"message" => "%{TIMESTAMP_ISO8601:time}\S%{MYSELF:msgid}%{MYSELF:method}%{MYDATA:data}%{MYSELF:UserInfo}\S%{LOGLEVEL:level}\S%{MYSELF:thread}%{MYSELF:application}%{MYSELF:ip}"}
}
date {
#match => [ "time", "YYYY-MM-dd HH:mm:ss,SSS" ]
match => [ "time", "ISO8601" ]
target => "@timestamp"
timezone => "Asia/Phnom_Penh"
}
}
output {
stdout {
codec => rubydebug
}
elasticsearch {
action => "index"
hosts => ["172.17.10.114:9200"]
index => "%{[fields][indexname]}-%{+YYYY.MM.dd}"
}
}
運(yùn)行Logstash容器：
$ sudo docker run -it -d -p 5044:5044 \ -v ~/logstash/conf.d:/etc/logstash/conf.d \ -v ~/logstash/data/logs:/data/logs \ --name logstash logstash:5.5.0 \ -f /etc/logstash/conf.d/logstash.conf
Kibana
下載鏡像：
$ sudo docker pull kibana:5.5.0
新建配置文件：
$ mkdir ~/kibana && cd ~/kibana $ vim kibana.yml
kibana.yml：
server.port: 5601 server.host: "0.0.0.0" elasticsearch.url: "http://172.17.10.114:9200"
運(yùn)行Kibana容器：
$ sudo docker run -it -d -p 5601:5601 \ -v ~/kibana:/etc/kibana \ --name kibana kibana:5.5.0
Filebeat
Filebeat需要部署在需要收集日志的服務(wù)器上。
下載鏡像：
$ sudo docker pull docker.elastic.co/beats/filebeat:5.5.0
新建配置文件：
filebeat.prospectors:
- type: log
paths:
- ~/filebeat/logs # 指定需要收集的日志文件的路徑
fields:
indexname: xxx # 這里填寫項(xiàng)目名稱，對(duì)應(yīng)index => "%{[fields][indexname]}-%{+YYYY.MM.dd}"
output.logstash:
hosts: ["172.17.10.114:5044"]
運(yùn)行Filebeat容器：
$ sudo docker run -it -d \ -v ~/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \ --name filebeat docker.elastic.co/beats/filebeat:5.5.0
附上一張ELK結(jié)構(gòu)流程圖：
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Docker部署前后端分離項(xiàng)目的三種方式小結(jié)
本文主要介紹了Docker部署前后端分離項(xiàng)目的三種方式小結(jié),包含通過兩個(gè)容器部署,通過compose編排容器自動(dòng)部署和將前后端項(xiàng)目打成一個(gè)鏡像部署的三種方式,具有一定的參考價(jià)值,感興趣的可以了解一下2024-03-03
使用docker在linux環(huán)境中部署springboot包的教程
這篇文章主要介紹了使用docker在linux環(huán)境中部署springboot包,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-03-03
docker中如何將jar包構(gòu)建成鏡像并執(zhí)行
這篇文章主要介紹了docker中如何將jar包構(gòu)建成鏡像并執(zhí)行問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-05-05
這篇文章主要介紹了docker如何部署eureka-server問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-12-12
pipework docker無法使用ip netns命令解決辦法
這篇文章主要介紹了pipework docker無法使用ip netns命令解決辦法的相關(guān)資料,需要的朋友可以參考下2016-10-10
今天給大家分享一篇教程關(guān)于docker安裝jenkins的步驟，在文中給大家提到了jenkins基本工作原理，本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2021-06-06
使用Docker配置redis sentinel哨兵的方法步驟
本文主要介紹了Docker配置redis sentinel哨兵的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-07-07
dockerfile部署前端vue打包的ist文件實(shí)戰(zhàn)
這篇文章主要為大家介紹了dockerfile部署前端vue打包的ist文件實(shí)戰(zhàn)，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-10-10
centos6使用docker部署zookeeper操作示例
這篇文章主要介紹了centos6使用docker部署zookeeper操作,結(jié)合實(shí)例形式分析了centos6平臺(tái)使用docker部署zookeeper相關(guān)命令與使用技巧,需要的朋友可以參考下2020-02-02
Docker安全開放遠(yuǎn)程訪問連接權(quán)限方式
文章介紹了如何配置Docker以實(shí)現(xiàn)遠(yuǎn)程訪問、開啟認(rèn)證和通信加密,包括生成證書和私鑰、配置Docker守護(hù)進(jìn)程以及在IDEA和Maven中連接Docker服務(wù)的方法2024-11-11