快捷導(dǎo)航

apache使用.htaccess文件實現(xiàn)屏蔽wget下載網(wǎng)站內(nèi)容

更新時間：2014年07月31日 08:38:01 投稿：hebedich

wget是一個從網(wǎng)絡(luò)上自動下載文件的自由工具，支持通過HTTP、HTTPS、FTP三個最常見的TCP/IP協(xié)議下載，并可以使用HTTP代理。wget名稱的由來是“World Wide Web”與“get”的結(jié)合。

經(jīng)發(fā)現(xiàn)，雖然wget遵循 robots.txt 規(guī)則，但是那個還是可以繞過去，現(xiàn)在把我自己使用的屏蔽方法分享給大家：

1. 屏蔽下載任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

2. 屏蔽下載部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

您可能感興趣的文章:

相關(guān)文章

Linux中nohup與&的用法和區(qū)別詳解
這篇文章主要給大家介紹了關(guān)于Linux中nohup與&的用法和區(qū)別的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者使用Linux具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
2019-10-10
一分鐘掌握linux系統(tǒng)目錄結(jié)構(gòu)
這篇文章主要介紹了linux系統(tǒng)目錄結(jié)構(gòu)，通過結(jié)構(gòu)圖和多張表格了解linux系統(tǒng)目錄結(jié)構(gòu)，感興趣的小伙伴們可以參考一下
2016-05-05
Ubuntu16.04源碼安裝Mininet
今天小編就為大家分享一篇關(guān)于Ubuntu16.04源碼安裝Mininet，小編覺得內(nèi)容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧
2018-10-10
Linux使用cd命令之實現(xiàn)切換目錄的完全指南
這篇文章主要介紹了Linux使用cd命令之實現(xiàn)切換目錄的完全指南,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2024-02-02
Linux下安裝Keepalived及原理分析
這篇文章主要介紹了在Linux環(huán)境下安裝Keepalived及原理分析，有興趣的朋友學(xué)習(xí)參考下吧。
2017-12-12
centos7 mysql數(shù)據(jù)庫安裝和配置
本篇文章主要介紹了centos7 mysql數(shù)據(jù)庫安裝和配置，非常具有實用價值，希望對大家實用mysql能夠有所幫助
2017-01-01
linux中通過文件描述符獲取文件絕對路徑的方法
下面小編就為大家?guī)硪黄猯inux中通過文件描述符獲取文件絕對路徑的方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2016-12-12
Linux基線檢查與安全加固方式
本文詳細(xì)介紹了Linux安全加固的多個方面,包括賬戶管理、口令策略、SSH安全設(shè)置等,首先,對于賬戶管理,介紹了口令鎖定策略、口令生存期、口令復(fù)雜度、密碼重用限制以及禁止存在空密碼賬戶等方面的檢查和加固操作,其次,在服務(wù)管理方面
2024-10-10
Ubuntu 14.04下安裝和配置redis數(shù)據(jù)庫
安裝Redis服務(wù)器，會自動地一起安裝Redis命令行客戶端程序。在本機輸入redis-cli命令就可以啟動，客戶端程序訪問Redis服務(wù)器。
2016-04-04
Linux修改用戶密碼使用期限賬號到期時間問題
在Linux系統(tǒng)中,通過chage命令能夠管理和查看用戶密碼的使用期限,特別是對root用戶的密碼過期時間進行設(shè)置,chage命令可以設(shè)置密碼過期時間,提醒用戶在密碼過期前修改密碼,例如,可以設(shè)定root用戶的密碼180天后過期,并在到期前15天提醒用戶修改密碼
2024-10-10