Nginx日志實現(xiàn)訪問異常報警詳解
更新時間：2017年03月04日 10:45:49 作者：LoyaChen
Nginx把遇到的不同級別的問題信息寫到錯誤日志。error_log 指令配置記錄到特定的文件，stderr，或者syslog，配置寫到日志的最低級別信息。下面這篇文章主要介紹了利用Nginx日志實現(xiàn)訪問異常報警的相關(guān)資料，需要的朋友可以參考下。
前言
在工作中為了防止一些惡意訪問的行為，例如不斷的請求刷流量，通過實時過濾Nginx訪問日志，將單位時間內(nèi)訪問次數(shù)達(dá)到指定閥值的來源ip及時的通知系統(tǒng)管理員，這里通過郵件的方式通知。
監(jiān)控腳本
vim /opt/nginx/sbin/nginx_log_monitor.sh
#!/bin/bash
#日志文件
logfile=/opt/nginx/logs/www
#開始時間
start_time=`date -d"$last_minutes minutes ago" +"%H:%M:%S"`
#結(jié)束時間
stop_time=`date +"%H:%M:%S"`
#過濾出單位之間內(nèi)的日志并統(tǒng)計最高ip數(shù)
tac $logfile/access.log | awk -v st="$start_time" -v et="$stop_time" '{t=substr($4,RSTART+14,21);if(t>=st && t<=et) {print $0}}' \
| awk '{print $1}' | sort | uniq -c | sort -nr > $logfile/log_ip_top10
ip_top=`cat $logfile/log_ip_top10 | head -1 | awk '{print $1}'`
# 單位時間[1分鐘]內(nèi)單ip訪問次數(shù)超過200次，則觸發(fā)郵件報警
if [[ $ip_top -gt 200 ]];then
/usr/bin/python /opt/tools/send_mail.py &
fi
chmod +x /opt/nginx/sbin/nginx_log_monitor.sh
定時任務(wù)
如上腳本監(jiān)控一分鐘內(nèi)的日志，因此每分鐘執(zhí)行一次：
# crontab -e */1 * * * * /bin/bash /opt/nginx/sbin/nginx_log_monitor.sh
郵件告警
這里通過python實現(xiàn)發(fā)送郵件
# vim /opt/tools/send_mail.py
# -*- coding: utf-8 -*-
from email import encoders
from email.header import Header
from email.mime.text import MIMEText
from email.utils import parseaddr, formataddr
from email.mime.multipart import MIMEMultipart
from email.mime.base import MIMEBase
from datetime import datetime
import os
import smtplib
def _format_addr(s):
name, addr = parseaddr(s)
return formataddr((Header(name, 'utf-8').encode(), addr))
# 郵箱定義
smtp_server = 'smtp.exmail.qq.com'
smtp_port = 465
from_addr = 'chenqingkang@qiniu.com'
password = os.environ.get('MAIL_PASSWD')
to_addr = ['810959120@qq.com']
# 郵件對象
msg = MIMEMultipart()
msg['From'] = _format_addr('發(fā)件人 <%s>' % from_addr)
msg['To'] = _format_addr('收件人 <%s>' % to_addr)
msg['Subject'] = Header('Warning:單ip請求次數(shù)異常', 'utf-8').encode()
# 獲取系統(tǒng)中要發(fā)送的文本內(nèi)容
with open('/opt/nginx/logs/log_ip_top10', 'r') as f:
line = f.readline().strip()
line = line.split(" ")
print(line)
# 郵件正文是MIMEText:
html = '<html><body><h2>一分鐘內(nèi)單ip請求次數(shù)超過閥值</h2>' + \
'<p>ip:%s 請求次數(shù)/min:%s</p>' % (line[1],line[0]) + \
'</body></html>'
msg.attach(MIMEText(html, 'html', 'utf-8'))
server = smtplib.SMTP_SSL(smtp_server, smtp_port)
server.login(from_addr, password)
server.sendmail(from_addr, to_addr, msg.as_string())
server.quit()
示例
寫個腳本不停curl請求資源觸發(fā)報警：
# vim curl.sh
#!/bin/bash
#example：curl.sh http://www.qingkang.me 100
usage()
{
echo "usage: `basename $0` url count"
}
if [ $# -ne 2 ]; then
usage
exit 1
fi
for i in `seq 1 $2`;do
http_code=`curl -o /dev/null -s -w %{http_code} $1`
echo $1 $http_code
done
# bash curl.sh http://qingkang.me/ 5 http://qingkang.me/ 200 http://qingkang.me/ 200 http://qingkang.me/ 200 http://qingkang.me/ 200 http://qingkang.me/ 200
調(diào)低閥值觸發(fā)告警：
一分鐘內(nèi)單ip請求次數(shù)超過閥值 ip:115.231.182.82 請求次數(shù)/min:27
完善
這里僅實現(xiàn)了郵件告警功能，實際上還可以實現(xiàn)自動屏蔽惡意訪問的ip。可以通過Nginx deny來實現(xiàn)，也可以iptables -I INPUT -s x.x.x.x -j DROP通過iptables屏蔽。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對大家能有一定的幫助，如果有疑問大家可以留言交流，謝謝大家對腳本之家的支持。
相關(guān)文章
本文主要介紹了k8s部署nginx的三種方式小結(jié),主要包括直接部署、使用數(shù)據(jù)卷部署、使用ConfigMap部署,具有一定的參考價值,感興趣的可以了解一下2023-11-11
在本篇文章里小編給大家整理的是關(guān)于nginx 配置location匹配規(guī)則實例講解內(nèi)容，需要的朋友們學(xué)習(xí)下。2020-03-03
Nginx?Proxy?Manager配置Web?WAF應(yīng)用防火墻
Nginx?Proxy?Manager是一款功能強大的開源軟件,配置Web應(yīng)用防火墻,可以防止常見的web攻擊,本文就來介紹一下Nginx?Proxy?Manager配置Web?WAF應(yīng)用防火墻,感興趣的可以了解一下2025-02-02
這篇文章主要為大家介紹了0基礎(chǔ)部署Nginx服務(wù)的實現(xiàn)方式，非常簡單詳細(xì)零基礎(chǔ)小白跟著做也可以完成，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2022-03-03![nginx:?[emerg]?unknown?directive報錯誤的問題](http://img.jbzj.com/images/xgimg/bcimg4.png)
nginx:?[emerg]?unknown?directive報錯誤的問題
本文主要介紹了nginx:?[emerg]?unknown?directive報錯誤的問題,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-09-09
這篇文章主要介紹了使用nginx+二級域名+https支持，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-05-05
本文介紹了如何配置Nginx作為前端靜態(tài)資源服務(wù)器和反向代理服務(wù)器以連接后端應(yīng)用,配置步驟包括設(shè)置Nginx的基本配置語法和結(jié)構(gòu),配置Nginx作為前端靜態(tài)資源服務(wù)器和反向代理服務(wù)器,測試和優(yōu)化Nginx配置,以及提供了一個示例配置2025-01-01
這篇文章主要為大家介紹了Windows下Nginx安裝配置的詳細(xì)教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-03-03
這篇文章主要為大家介紹了Nginx如何代理UDP連接的實現(xiàn)詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-06-06
Nginx 安裝筆記(含PHP支持、虛擬主機、反向代理負(fù)載均衡)
Nginx安裝簡記(含PHP支持、虛擬主機、反向代理負(fù)載均衡) Nginx，據(jù)說高性能和穩(wěn)定性比Apache還牛，并發(fā)連接處理能力強，低系統(tǒng)資源消耗。目前已有250多萬web站點在使用2009-10-10