最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

網站優(yōu)化必看 蜘蛛陷阱 不利于蜘蛛爬取的網頁

  發(fā)布時間:2014-10-13 16:14:24   作者:佚名   我要評論
網站有哪些地方是不利于蜘蛛爬取的呢?下面腳本之家分享了一些蜘蛛爬取陷阱,讓蜘蛛爬去不到頁面的一些因素,需要的朋友可以參考下

  1、搜索引擎能不能找到網頁。

  1)要讓搜搜引擎發(fā)現網站首頁,網站推廣就必須有良好的外部鏈接鏈接到首頁,就找到了首頁,然后蜘蛛會沿著鏈接爬的更深。

  讓蜘蛛通過簡單的html頁面的鏈接到達,javascript鏈接,flash鏈接都是蜘蛛的陷阱。這點要注意。

  2)找到網頁后能不能抓去內容。

  被發(fā)現的蜘蛛是可以被爬取的,數據庫動態(tài)生成,帶過很多的參數url、sessionID、整個頁面都是flash、框架結構、大量的轉向,和大量的復制內容都可能把蜘蛛攔截在門外。這也也是要注意的

  2、flash

  1)在網頁某一個部分使用flash來增強視覺效果很正常網絡推廣,比如現在很多的flash廣告、圖標等。但是這是一個html頁面的一部分。不會有太大的影響

  2)但是有的網站就是一個很大的flash文件,這就構成了蜘蛛的陷阱,這時候蜘蛛爬取的只有一個flash鏈接,沒有其他的內容,所以這點盡量要避免。

  3、sessionID

  1)有些網站使用sessionID(會話ID)跟蹤用戶的訪問,用戶的沒一次訪問都會生成一個獨立的ID,然后加在url里,這是蜘蛛每一次抓取網站都會把蜘蛛當作一個新的用戶網絡營銷,造成蜘蛛不能正常爬取,這也是蜘蛛的一大陷阱。

  2)通常建議跟蹤用戶訪問應該使用cookies而不要生存sessionID 。

  4、各種的跳轉

  1)除了大家熟悉的301轉向之外,其他的轉向對搜索蜘蛛都比較敏感的,比如302暫時轉向,javascript轉向,flash轉向,meta refresh跳轉,所以建議大家不要做其他不利于網頁的轉向,301也包括,不到萬不得已的時候也不要用301轉向。這是個建議。謝謝閱讀,希望能幫到大家,請繼續(xù)關注腳本之家,我們會努力分享更多優(yōu)秀的文章。

相關文章

最新評論

比如县| 油尖旺区| 错那县| 衡山县| 康马县| 抚顺县| 偏关县| 金坛市| 绥棱县| 呼和浩特市| 久治县| 大足县| 都昌县| 九江县| 达拉特旗| 华安县| 邳州市| 崇文区| 类乌齐县| 康马县| 即墨市| 苏尼特左旗| 佳木斯市| 务川| 思茅市| 长葛市| 台南县| 江门市| 宣武区| 望奎县| 怀集县| 康马县| 万全县| 鹰潭市| 许昌县| 渝北区| 旅游| 景宁| 抚州市| 青川县| 米易县|