快捷導(dǎo)航

Docker部署Logstash同步Mysql數(shù)據(jù)到ES方式

更新時(shí)間：2024年10月23日 14:09:19 作者：寫(xiě)....寫(xiě)個(gè)大西瓜

本文介紹了如何搭建ELK（Elasticsearch, Logstash, Kibana）日志系統(tǒng),包括配置文件準(zhǔn)備、Logstash與Elasticsearch部署、驅(qū)動(dòng)文件準(zhǔn)備、配置文件編輯、容器操作以及日志查看等步驟,文章內(nèi)容是作者的個(gè)人經(jīng)驗(yàn)分享

Docker部署Logstash同步Mysql數(shù)據(jù)到ES

1、準(zhǔn)備配置文件文件夾

2、部署logstash & elasticsearch

docker pull docker.elastic.co/logstash/logstash:7.15.0
## 替換{你的ES地址}為ES地址
docker run -d --name logstash -p 5044:5044 -p 9600:9600 -v D:\logstash\data\:/usr/share/logstash/data  -v D:\logstash\path\to\mysql-connector-j-8.0.33.jar:/usr/share/logstash/mysql-connector-j-8.0.33.jar -v D:\logstash\config\:/usr/share/logstash/config -v D:\logstash\pipeline\:/usr/share/logstash/pipeline -e "ELASTICSEARCH_HOSTS={你的ES地址}" docker.elastic.co/logstash/logstash:7.15.0

docker pull docker.elastic.co/elasticsearch/elasticsearch:7.15.0
## 配置文件如果需要修改，修改完后刪除重新啟動(dòng)容器
docker run -d --name elasticsearch -v D:\elasticsearch\config\:/usr/share/elasticsearch/config -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" docker.elastic.co/elasticsearch/elasticsearch:7.15.0

頁(yè)面訪問(wèn) ip:9200端口，出現(xiàn)下面頁(yè)面部署成功

3、準(zhǔn)備驅(qū)動(dòng)文件

4、編輯配置文件

input {
  jdbc {
    jdbc_driver_library => "/usr/share/logstash/mysql-connector-j-8.0.33.jar"
    jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://{你的MYSQL地址}/{你的數(shù)據(jù)庫(kù)}"
    jdbc_user => "{數(shù)據(jù)庫(kù)賬號(hào)}"
    jdbc_password => "{數(shù)據(jù)庫(kù)密碼}"
    statement => "SELECT * FROM user"
    jdbc_paging_enabled => true		 # 開(kāi)啟分頁(yè)
    jdbc_page_size => 2000			 # 分頁(yè)每頁(yè)條數(shù)
    schedule => "*/5 * * * * * UTC"  # 每5s執(zhí)行一次
  }
}
output {
  elasticsearch {
      hosts  => ["{你的ES地址}"]         				# ElasticSearch 的地址和端口
      index  => "user"         							# 指定索引名，如果不存在es會(huì)自動(dòng)創(chuàng)建
      document_id => "%{id}"
      codec  => "json"
  }
}

5、刪除容器、重新啟動(dòng)

docker rm -f logstash
docker run -d --name logstash -p 5044:5044 -p 9600:9600 -v D:\logstash\data\:/usr/share/logstash/data  -v D:\logstash\path\to\mysql-connector-j-8.0.33.jar:/usr/share/logstash/mysql-connector-j-8.0.33.jar -v D:\logstash\config\:/usr/share/logstash/config -v D:\logstash\pipeline\:/usr/share/logstash/pipeline -e "ELASTICSEARCH_HOSTS={你的ES地址}" docker.elastic.co/logstash/logstash:7.15.0

6、查看日志

docker logs -f logstash

成功日志！?。?！

總結(jié)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Docker跨平臺(tái)和環(huán)境部署的過(guò)程詳解
Docker是一個(gè)開(kāi)放源代碼的容器化平臺(tái),它能夠?qū)崿F(xiàn)應(yīng)用及其依賴(lài)的打包,從而實(shí)現(xiàn)跨平臺(tái)和環(huán)境的快速部署,本文介紹了Docker的基本概念、優(yōu)勢(shì)和基本使用方法,包括安裝、啟動(dòng)、構(gòu)建鏡像和部署應(yīng)用等步驟
2024-11-11
docker端口映射的實(shí)現(xiàn)示例
Docker 端口映射允許我們將容器內(nèi)部的服務(wù)綁定到宿主機(jī)上的一個(gè)或多個(gè)端口,本文主要介紹了docker端口映射的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下
2024-03-03
手把手教你實(shí)現(xiàn)給Docker開(kāi)啟IPv6網(wǎng)絡(luò)支持
這篇文章主要為大家介紹了Docker開(kāi)啟IPv6網(wǎng)絡(luò)支持實(shí)現(xiàn)方法詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
2023-08-08
解決Docker中的error during connect異常情況
這篇文章主要介紹了解決Docker中的error during connect異常情況，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
2020-11-11
Docker中的容器資源限制解讀
文章介紹了Docker中限制容器資源的方法,包括通過(guò)--cpuset-cpus指定CPU核心、--cpu-shares調(diào)整調(diào)度優(yōu)先級(jí)（如512低于默認(rèn)1024）,以及--memory限制內(nèi)存大小,最后說(shuō)明了如何驗(yàn)證這些配置
2025-09-09
詳解java項(xiàng)目打包docker鏡像的幾種方式
本文主要介紹了詳解java項(xiàng)目打包docker鏡像的幾種方式，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2023-01-01
Dokcer部署雙主Mysql的詳細(xì)步驟
文章介紹了如何創(chuàng)建MySQL主從復(fù)制容器,并配置主從關(guān)系,主要步驟包括創(chuàng)建容器、創(chuàng)建角色、配置MySQL從數(shù)據(jù)庫(kù)以連接到主數(shù)據(jù)庫(kù),并確保配置參數(shù)正確,感興趣的朋友一起看看吧
2025-01-01
docker部署nginx并實(shí)現(xiàn)https教程
文章介紹了如何使用Docker部署Nginx并實(shí)現(xiàn)HTTPS,首先,文章提到了服務(wù)器環(huán)境,然后詳細(xì)步驟包括安裝Docker、準(zhǔn)備SSL證書(shū)、編寫(xiě)Nginx配置文件和Dockerfile、創(chuàng)建Nginx鏡像并運(yùn)行容器,最后,文章驗(yàn)證了Nginx的訪問(wèn)
2025-11-11
Docker拉取鏡像過(guò)慢解決方法
這篇文章主要給大家介紹了關(guān)于Docker拉取鏡像過(guò)慢的解決方法,如果在拉取Docker鏡像時(shí)遇到速度較慢的問(wèn)題可以參考本文的辦法,文中通過(guò)代碼示例介紹的非常詳細(xì),需要的朋友可以參考下
2023-08-08
Docker?exec?的實(shí)現(xiàn)原理介紹
這篇文章主要介紹了Docker?exec的實(shí)現(xiàn)原理，詳細(xì)解讀了docker?exec這個(gè)操作背后,Linux?Namespace更具體的工作原理,這種通過(guò)操作系統(tǒng)進(jìn)程相關(guān)的知識(shí),逐步剖析Docker容器的方法,需要的朋友可以參考一下
2022-04-04