nginx修改配置限制惡意爬蟲頻率
更新時間：2016年08月25日 10:56:50 投稿：daisy
這篇文章主要介紹在nginx中怎樣修改相關配置，以限制惡意爬蟲頻率的方法，有需要的朋友參考下。
如何在nginx中限制惡意網(wǎng)絡爬蟲抓取內容呢？也就是限制下惡意爬蟲的抓取頻率。下面來一起看看。
今天在微博發(fā)現(xiàn)@金榮葉 的處理方法很靈活，可以動態(tài)設定一個爬蟲的頻率，達到減輕服務器負載，并且不至于封殺爬蟲。
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某個server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_agent;
}
超過設置的限定頻率，就會給spider一個503。
總結
以上就是nginx修改配置限制惡意爬蟲頻率的全部內容，希望對大家的工作和學習能有所幫助，如果有疑問可以留言交流。
相關文章
本文主要介紹了Nginx Proxy緩存的具體實現(xiàn),文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-08-08
文章介紹了如何在Windows 11上將Nginx配置為系統(tǒng)服務,并提供了一個詳細的步驟指南,包括下載和配置Winsw工具,以及安裝和刪除Nginx服務的方法2024-12-12
這篇文章主要介紹了Nginx DNS resolver配置實例,本文講解在proxy_pass 和 upstream server 通信的時候需要手動指定 resolver,本文就給出了配置實例,需要的朋友可以參考下2015-01-01
這篇文章主要介紹了讓Nginx支持shtml格式的配置方法,shtml格式可以包含一些服務端指令,同PHP中的include功能類似,需要的朋友可以參考下2014-08-08
詳解Nginx之Location配置(Location匹配順序)
這篇文章主要介紹了詳解Nginx之Location配置(Location匹配順序)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-11-11
這篇文章主要為大家介紹了nginx訪問頁面中文亂碼解決方案,文中有相關的代碼示例供大家參考,有需要的朋友可以借鑒參考下,希望能夠有所幫助2023-09-09
這篇文章主要給大家介紹了關于Nginx中break與last區(qū)別的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2021-01-01
Nginx中實現(xiàn)請求的緩存數(shù)據(jù)過期通知
Nginx 作為高性能的反向代理服務器,緩存機制是其優(yōu)化性能的重要手段之一,本文主要介紹了Nginx中實現(xiàn)請求的緩存數(shù)據(jù)過期通知,感興趣的可以了解一下2024-09-09
本文主要介紹了淺談nginx讀寫鎖的實現(xiàn)邏輯,是通過自旋鎖來實現(xiàn)的,文中通過示例代碼介紹的非常詳細,對大家的學習或者工作具有一定的參考學習價值,需要的朋友們下面隨著小編來一起學習學習吧2024-05-05
這篇文章主要介紹了centos服務器中配置nginx的方法示例，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2019-06-06