使用elasticsearch定時(shí)刪除索引數(shù)據(jù)
1、有的時(shí)候我們?cè)谑褂肊S
由于資源有限或業(yè)務(wù)需求，我們只想保存最近一段時(shí)間的數(shù)據(jù)，所以有必要做定時(shí)刪除數(shù)據(jù)。
2、編寫腳本
vim del_es_by_day.sh #!/bin/bash #定時(shí)刪除elasticsearch索引 #author menard 2019-3-25 date=`date -d "-7 days" "+%Y.%m.%d"` /usr/bin/curl -v --user elastic:password -XDELETE "http://192.168.10.201:9200/*-$date"
增加可執(zhí)行權(quán)限 chmod +x del_es_by_day.sh
3、創(chuàng)建用于測(cè)試的索引
put test-2019.03.18 put index-2019.03.18
4、執(zhí)行腳本測(cè)試結(jié)果，可以看到刪除成功
5、做定時(shí)任務(wù)
crontab -e 00 01 * * * /workspace/script/del_es_by_day.sh
補(bǔ)充：Elasticsearch定時(shí)備份索引數(shù)據(jù)與恢復(fù)
定時(shí)備份腳本
Linux定時(shí)任務(wù)功能使用cron服務(wù)來(lái)進(jìn)行
編寫定時(shí)任務(wù)的cron表達(dá)式
crontab -e #進(jìn)入cron定時(shí)任務(wù)編輯
定時(shí)任務(wù)
*/1 * * * * /opt/scheduler/es_bk.sh >> /opt/scheduler/bk_log.txt 2>&1
每隔1分鐘定時(shí)執(zhí)行 /opt/scheduler/目錄下的es_bk.sh腳本，將數(shù)據(jù)內(nèi)容寫入到 /opt/scheduler目錄下的bk.log.txt文件中
查看一下es_bk.sh腳本內(nèi)容
#! /bin/bash echo '=================================start======================================' #刪除備份的快照 curl -i -X DELETE localhost:9200/_snapshot/es_backup/snapshot01 #再次備份 curl -i -X PUT localhost:9200/_snapshot/es_backup/snapshot01 echo '==================================end======================================='
ES備份數(shù)據(jù)需要將要備份的索引數(shù)據(jù)快照一份，需要指定一個(gè)快照名，且不能使用相同的快照，所以在每次備份之前需要?jiǎng)h除舊的快照，再備份。
ES備份與恢復(fù)
創(chuàng)建一個(gè)備份倉(cāng)庫(kù)（目錄）
mkdir -p /bk/es/data #修改權(quán)限 chmod -R 777 bk
修改elasticsearch.yml文件，指定倉(cāng)庫(kù)位置
發(fā)送初始化倉(cāng)庫(kù)請(qǐng)求
curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X PUT --data '{"type": "fs","settings": {"location": "/bk/es/data"}}' localhost:9200/_snapshot/es_backup
es_backup是備份命名空間，可以隨意指定
創(chuàng)建第一份快照
curl -i -X PUT localhost:9200/_snapshot/es_backup/snapshot01
將使用es_backup這個(gè)備份將es的所有索引數(shù)據(jù)備份到snapshot01這個(gè)快照下，當(dāng)然也可以只備份指定索引
curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X PUT --data '{"indices": "'bk_user_index_server'"}' localhost:9200/_snapshot/es_backup/snapshot01
重啟定時(shí)任務(wù)
systemctl restart cron
恢復(fù)索引
恢復(fù)指定
curl -i -H ""'Content-Type:application/json;charset=UTF-8'"" -X POST --data '{"indices": "'bk_user_index_server'"}' localhost:9200/_snapshot/es_backup/snapshot01/_restore
恢復(fù)所有
curl -i -X POST localhost:9200/_snapshot/es_backup/snapshot01/_restore
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。
相關(guān)文章
Docker搭建 Nginx+PHP+MySQL 環(huán)境并部署WordPress實(shí)踐
本文給大家分享的是作者基于Docker搭建 Nginx+PHP+MySQL 環(huán)境并部署WordPress的詳細(xì)過(guò)程，非常的全面，有需要的小伙伴可以參考下2017-02-02
本文解決了由于網(wǎng)絡(luò)問(wèn)題導(dǎo)致的Docker拉取中央倉(cāng)庫(kù)鏡像超時(shí)的問(wèn)題,通過(guò)從其他鏡像倉(cāng)庫(kù)拉取鏡像文件來(lái)解決這一問(wèn)題,感興趣的可以了解一下2025-03-03
使用Docker運(yùn)行Microsoft SQL Server 2017的方法
本篇文章主要介紹了使用Docker運(yùn)行Microsoft SQL Server 2017的方法，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-11-11
Docker-client for python詳解及簡(jiǎn)單示例
這篇文章主要介紹了Docker-client for python詳解及簡(jiǎn)單示例的相關(guān)資料,需要的朋友可以參考下2017-04-04
Linux系統(tǒng)安裝docker并用ssh登錄docker容器的操作方法
今天小編就為大家分享一篇Linux系統(tǒng)安裝docker并用ssh登錄docker容器的操作方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-06-06
Docker compose部署SpringBoot項(xiàng)目連接MySQL及遇到的坑
這篇文章主要介紹了Docker compose部署SpringBoot項(xiàng)目連接MySQL,文中給大家強(qiáng)調(diào)了如果在使用的過(guò)程中修改了Dockerfile，一定要把之前的鏡像刪掉，具體內(nèi)容詳情跟隨小編一起看看吧2021-09-09
docker鏡像導(dǎo)入的實(shí)現(xiàn)方法
如果服務(wù)器網(wǎng)絡(luò)不好或者pull不下來(lái)鏡像,只能進(jìn)行導(dǎo)入,本文主要介紹了docker鏡像導(dǎo)入的實(shí)現(xiàn)方法,具有一定的參考價(jià)值,感興趣的可以了解一下2023-09-09
在使用Docker時(shí),我們經(jīng)常需要從Docker鏡像倉(cāng)庫(kù)中拉取鏡像,以便于在本地機(jī)器上運(yùn)行,下面這篇文章主要給大家介紹了關(guān)于Docker鏡像拉取失敗問(wèn)題分析及解決方案,需要的朋友可以參考下2024-08-08
這篇文章主要介紹了docker部署運(yùn)行jar全過(guò)程,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-12-12
這篇文章主要介紹了Docker 教程之CentOS安裝 Docker的相關(guān)資料,需要的朋友可以參考下2016-12-12