php 向訪客和爬蟲顯示不同的內(nèi)容
更新時(shí)間：2009年11月09日 18:59:56 作者：
為了提高網(wǎng)頁的用戶體驗(yàn), 我們經(jīng)常會(huì)做一些對(duì)搜索引擎不太友好的事情, 但某些情況下這并不是無法挽回的, 可以通過向自然人和搜索引擎機(jī)器人顯示不同的內(nèi)容來提供好的用戶體驗(yàn)和 SEO.
聽說本方法會(huì)觸犯搜索引擎的一些操作原則, 有可能被被各搜索引擎處罰, 甚至刪除網(wǎng)站. 所以我剛剛已經(jīng)撤下這樣的處理, 直到確定其不屬于作弊. 有魄力的朋友可以繼續(xù)使用, 但后果自負(fù).
本博客的首頁和存檔頁面以列表的形式顯示文章, 在訪客點(diǎn)擊展開文章時(shí)才加載文章的內(nèi)容. 因?yàn)槲恼碌膬?nèi)容部分包含了大量的文字和圖片, 需要大量的加載時(shí)間和流量. 盡快地向訪客展示網(wǎng)頁可以挽留大量的來訪者. 而對(duì)于手機(jī)用戶來說, 加載時(shí)間和流量則更為重要.
一般來說, 網(wǎng)站的首頁是搜索引擎訪問最多的頁面, 應(yīng)該盡可能的向它們展示有意義的內(nèi)容, 但是要以列表的形式顯示文章的話, 訪客和搜索引擎只能獲取到文章標(biāo)題信息. 文章內(nèi)容或者摘要 (尤其是文章的第一句) 對(duì)于 SEO 來說是極其重要的, 所以我們要設(shè)法向爬蟲發(fā)送這些內(nèi)容.
好, 我們可以通過 User Agent 來判斷訪問者是否為爬蟲, 如果是, 則以一般形式顯示文章, 否則以列表形式顯示文章列表. 可以用以下的 PHP 方法判斷是否為爬蟲:
function is_crawler() {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
‘Googlebot', // Google 爬蟲
‘Baiduspider', // 百度爬蟲
‘Yahoo! Slurp', // 雅虎爬蟲
‘YodaoBot', // 有道爬蟲
‘msnbot' // Bing爬蟲
// 更多爬蟲關(guān)鍵字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
這是我使用的方法, 各爬蟲以訪問評(píng)論由高到低進(jìn)行排序. 然后通過下面的的方法向爬蟲和自然人顯示不同的內(nèi)容
本博客的首頁和存檔頁面以列表的形式顯示文章, 在訪客點(diǎn)擊展開文章時(shí)才加載文章的內(nèi)容. 因?yàn)槲恼碌膬?nèi)容部分包含了大量的文字和圖片, 需要大量的加載時(shí)間和流量. 盡快地向訪客展示網(wǎng)頁可以挽留大量的來訪者. 而對(duì)于手機(jī)用戶來說, 加載時(shí)間和流量則更為重要.
一般來說, 網(wǎng)站的首頁是搜索引擎訪問最多的頁面, 應(yīng)該盡可能的向它們展示有意義的內(nèi)容, 但是要以列表的形式顯示文章的話, 訪客和搜索引擎只能獲取到文章標(biāo)題信息. 文章內(nèi)容或者摘要 (尤其是文章的第一句) 對(duì)于 SEO 來說是極其重要的, 所以我們要設(shè)法向爬蟲發(fā)送這些內(nèi)容.
好, 我們可以通過 User Agent 來判斷訪問者是否為爬蟲, 如果是, 則以一般形式顯示文章, 否則以列表形式顯示文章列表. 可以用以下的 PHP 方法判斷是否為爬蟲:
復(fù)制代碼 代碼如下:
function is_crawler() {
$userAgent = strtolower($_SERVER['HTTP_USER_AGENT']);
$spiders = array(
‘Googlebot', // Google 爬蟲
‘Baiduspider', // 百度爬蟲
‘Yahoo! Slurp', // 雅虎爬蟲
‘YodaoBot', // 有道爬蟲
‘msnbot' // Bing爬蟲
// 更多爬蟲關(guān)鍵字
);
foreach ($spiders as $spider) {
$spider = strtolower($spider);
if (strpos($userAgent, $spider) !== false) {
return true;
}
}
return false;
}
這是我使用的方法, 各爬蟲以訪問評(píng)論由高到低進(jìn)行排序. 然后通過下面的的方法向爬蟲和自然人顯示不同的內(nèi)容
您可能感興趣的文章:
- PHPCrawl爬蟲庫實(shí)現(xiàn)抓取酷狗歌單的方法示例
- php與python實(shí)現(xiàn)的線程池多線程爬蟲功能示例
- 利用php抓取蜘蛛爬蟲痕跡的示例代碼
- PHP+HTML+JavaScript+Css實(shí)現(xiàn)簡(jiǎn)單爬蟲開發(fā)
- php實(shí)現(xiàn)簡(jiǎn)單爬蟲的開發(fā)
- PHP代碼實(shí)現(xiàn)爬蟲記錄——超管用
- PHP實(shí)現(xiàn)簡(jiǎn)單爬蟲的方法
- 一個(gè)PHP實(shí)現(xiàn)的輕量級(jí)簡(jiǎn)單爬蟲
- php IIS日志分析搜索引擎爬蟲記錄程序
- PHP一個(gè)簡(jiǎn)單的無需刷新爬蟲
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了php設(shè)計(jì)模式之委托模式，以一個(gè)實(shí)例為大家介紹了php委托模式，感興趣的朋友可以參考一下2016-02-02
php 301轉(zhuǎn)向?qū)崿F(xiàn)代碼
php對(duì)全站的所有內(nèi)頁進(jìn)行域名301轉(zhuǎn)向2008-09-09
所謂的CC攻擊就是對(duì)方利用程序或一些代理對(duì)您的網(wǎng)站進(jìn)行不間斷的訪問，造成您的網(wǎng)站處理不了而處于當(dāng)機(jī)狀態(tài)2011-12-12
php adodb連接帶密碼access數(shù)據(jù)庫實(shí)例，測(cè)試成功
最近前臺(tái)有個(gè)開票系統(tǒng)需要改進(jìn)導(dǎo)致需要用PHP去連接那個(gè)系統(tǒng)的 數(shù)據(jù)庫，ACCESS的帶密碼的。寫了個(gè)簡(jiǎn)單的實(shí)例，記錄下。2008-05-05
這篇文章給大家詳細(xì)分析了為什么PHP程序員需要學(xué)習(xí)使用Swoole，并通過實(shí)例做了分析，有興趣的朋友參考下。2018-06-06
php 時(shí)間time與日期date之間的使用詳解及區(qū)別
PHP中有time函數(shù)，也有date函數(shù)，這兩個(gè)函數(shù)在使用時(shí)候的區(qū)別很明顯。但更應(yīng)注意，time和date是兩個(gè)完全不時(shí)的格式，當(dāng)然還有一種字符串格式。本文重點(diǎn)介紹這幾者的區(qū)別。2016-11-11
php恢復(fù)數(shù)組的key為數(shù)字序列的方法
這篇文章主要介紹了php恢復(fù)數(shù)組的key為數(shù)字序列的方法,涉及php操作數(shù)組鍵名的技巧,需要的朋友可以參考下2015-04-04
這篇文章主要介紹了php驗(yàn)證手機(jī)號(hào)碼的方法，驗(yàn)證手機(jī)號(hào)碼通常利用php正則表達(dá)試驗(yàn)證了,手機(jī)號(hào)的規(guī)則是長(zhǎng)度11位然后是13，15，18等等開頭,這個(gè)我們只要加以分類規(guī)劃并可實(shí)現(xiàn)完美手機(jī)號(hào)碼驗(yàn)證正則了，需要的朋友可以參考下2015-11-11
PHP函數(shù)內(nèi)引用全局變量的解決方法2008-10-10
PHPWind與Discuz截取字符函數(shù)substrs與cutstr性能比較
PHP性能優(yōu)化系列第四期實(shí)戰(zhàn)篇，如何使用PEAR Benchmark類工具獲取函數(shù)執(zhí)行性能，這里以PHPWind與Discuz!兩個(gè)社區(qū)論壇的截取字符函數(shù)substrs與cutstr為例，分析兩個(gè)函數(shù)的執(zhí)行性能情況2011-12-12