快捷導(dǎo)航

php實(shí)現(xiàn)遞歸抓取網(wǎng)頁(yè)類(lèi)實(shí)例

更新時(shí)間：2015年04月03日 12:20:50 作者：pythoner

這篇文章主要介紹了php實(shí)現(xiàn)遞歸抓取網(wǎng)頁(yè)類(lèi),實(shí)例分析了php遞歸操作及網(wǎng)頁(yè)抓取的技巧,非常具有實(shí)用價(jià)值,需要的朋友可以參考下

本文實(shí)例講述了php實(shí)現(xiàn)遞歸抓取網(wǎng)頁(yè)類(lèi)的方法。分享給大家供大家參考。具體如下：

<?php
class crawler{
 private $_depth=5;
 private $_urls=array();
 function extract_links($url)
 {
  if(!$this->_started){
   $this->_started=1;
   $curr_depth=0;
  }else{
   $curr_depth++;
  }
  if($curr_depth<$this->_depth)
  {
   $data=file_get_contents($url);
   if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12))
   {
    foreach($urls12[0] as $k=>$v){
     $check=get_headers($v,1);
     if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
      $this->_urls[]=$v;
      $this->extract_links($v);
     }
    }
   }
  }
  return $this->_urls;
 }
}
?>

希望本文所述對(duì)大家的php程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

php json與xml序列化/反序列化
在WEB開(kāi)發(fā)中，php對(duì)象的序列化與反序列化經(jīng)常使用，比較主流的有json格式與xml格式的序列化與反序列化。今天我們就來(lái)看看是如何用的。
2013-10-10
php的ajax框架xajax入門(mén)與試用介紹
xajax功能很簡(jiǎn)單，但很靈活！~它不象其它一些大的框架，功能確實(shí)強(qiáng)大，但執(zhí)行速度不敢恭維。。功能雖多，但不夠靈活。api多，學(xué)起來(lái)簡(jiǎn)直如同學(xué)習(xí)一門(mén)新的語(yǔ)言。
2010-12-12
php使用pdo連接并查詢sql數(shù)據(jù)庫(kù)的方法
這篇文章主要介紹了php使用pdo連接并查詢sql數(shù)據(jù)庫(kù)的方法,實(shí)例分析了常用的pdo連接方法與改進(jìn)方法,并針對(duì)pdo技術(shù)進(jìn)行了分析說(shuō)明,需要的朋友可以參考下
2014-12-12
基于PHP導(dǎo)出Excel的小經(jīng)驗(yàn) 完美解決亂碼問(wèn)題
本篇文章是對(duì)PHP導(dǎo)出Excel亂碼問(wèn)題的解決方法就行了詳細(xì)的分析介紹，需要的朋友參考下
2013-06-06
php實(shí)現(xiàn)約瑟夫問(wèn)題的方法小結(jié)
這篇文章主要介紹了php實(shí)現(xiàn)約瑟夫問(wèn)題的方法,實(shí)例總結(jié)了兩種常見(jiàn)的實(shí)現(xiàn)約瑟夫問(wèn)題的技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下
2015-03-03
PHP簡(jiǎn)單實(shí)現(xiàn)定時(shí)監(jiān)控nginx日志文件功能示例
這篇文章主要介紹了PHP簡(jiǎn)單實(shí)現(xiàn)定時(shí)監(jiān)控nginx日志文件功能,涉及php定時(shí)讀取nginx服務(wù)器日志以及基于curl的數(shù)據(jù)傳輸相關(guān)操作技巧,需要的朋友可以參考下
2018-06-06
PHP的instanceof詳解及使用方法介紹
php的instanceof是什么意思？instanceof由兩個(gè)單詞組成，instance和of，instance表示實(shí)例的意思，從字面上就可以理解這是實(shí)例引用的意思。instanceof?運(yùn)算符是?PHP?5?引進(jìn)的。在此之前用?is_a()，但是?is_a()?已經(jīng)過(guò)時(shí)了，最好用?instanceof。
2023-05-05
PHP中的替代語(yǔ)法簡(jiǎn)介
這篇文章主要介紹了PHP中的替代語(yǔ)法簡(jiǎn)介,是PHP程序設(shè)計(jì)中并不常見(jiàn)卻有重要作用的一個(gè)用法,需要的朋友可以參考下
2014-08-08
詳解PHP使用OSS上傳文件
這篇文章主要介紹了PHP使用OSS上傳文件，對(duì)OSS感興趣的同學(xué)，可以參考并且實(shí)驗(yàn)一下
2021-04-04
Search File Contents PHP 搜索目錄文本內(nèi)容的代碼
這個(gè)類(lèi)可以用來(lái)搜索在給定的文本目錄中的文件。它可以給定目錄遍歷遞歸查找某些文件擴(kuò)展名的文件。
2010-02-02