apache禁止搜索引擎收錄、網(wǎng)絡(luò)爬蟲采集的配置方法
更新時間：2014年06月30日 08:48:10 投稿：junjie
這篇文章主要介紹了apache禁止搜索引擎收錄、網(wǎng)絡(luò)爬蟲采集的配置方法,注意一定要寫到Location節(jié)點,否則不起作用,可以精確匹配,也可以IP匹配,需要的朋友可以參考下
Apache中禁止網(wǎng)絡(luò)爬蟲，之前設(shè)置了很多次的，但總是不起作用，原來是是寫錯了，不能寫到Dirctory中，要寫到Location中
復(fù)制代碼 代碼如下:
<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬蟲
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>
這是禁止了所有包含spider字符的爬蟲。
如果要針對性的禁止爬蟲，改成精確匹配的爬蟲字符串，如果bingbot、Googlebot等等
相關(guān)文章
本篇文章文章主要介紹了linux patch命令，此命令用于為特定軟件包打補(bǔ)丁,他使用diff命令對源文件進(jìn)行操作。有興趣的可以了解一下。2016-11-11
BT寶塔Linux服務(wù)器管理助手架設(shè)VPS面板(安裝及初始設(shè)置應(yīng)用)
這篇文章主要介紹了BT寶塔Linux服務(wù)器管理助手架設(shè)VPS面板也是就是BT寶塔助手安裝及初始設(shè)置應(yīng)用演示,需要的朋友可以參考下2017-04-04
這篇文章主要介紹了Apache跨域資源訪問報錯問題解決方案,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2020-07-07
這篇文章主要介紹了Linux解壓JAR包 查看class內(nèi)容方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2023-11-11
這篇文章主要介紹了詳解在Linux虛擬機(jī)下配置tomcat，非常具有實用價值，需要的朋友可以參考下。2017-01-01
這篇文章主要為大家詳細(xì)介紹了linux實現(xiàn)自動部署tomcat的腳本，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-03-03
這篇文章主要介紹了linux下怎樣用命令啟動docker服務(wù)問題，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2023-04-04
本篇文章主要介紹了centos中nginx按日期自動分割訪問日志的方法，具有一定的參考價值，感興趣的小伙伴們可以參考一下。2017-03-03
如何關(guān)閉http Methods中的Trace 提高安全意識
在配置文件http.conf 添加 TraceEnable off 即可關(guān)閉2013-02-02
Linux中SELinux三種模式的啟動、關(guān)閉與查看方式
這篇文章主要介紹了Linux中SELinux三種模式的啟動、關(guān)閉與查看方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02