基于PHP的簡(jiǎn)單采集數(shù)據(jù)入庫(kù)程序

更新時(shí)間：2014年07月30日 09:34:33 投稿：hebedich

前幾天有一朋友要我?guī)妥鲆粋€(gè)采集新聞信息的程序，抽了點(diǎn)時(shí)間寫(xiě)了個(gè)PHP版本的，隨筆記錄下。

說(shuō)到采集，無(wú)非就是遠(yuǎn)程獲取信息->提取所需內(nèi)容->分類(lèi)存儲(chǔ)->讀取->展示

也算是簡(jiǎn)單"小偷程序"的加強(qiáng)版吧

下面是對(duì)應(yīng)核心代碼（別拿去做壞事哦^_^）

所要采集的內(nèi)容是某游戲網(wǎng)站上的公告，如下圖：

可先利用file_get_contents和簡(jiǎn)單正則獲取基本頁(yè)面信息

整理下基本信息，采集入庫(kù)：

<?php
  include_once("conn.php");


   if($_GET['id']<=8&&$_GET['id']){
     $id=$_GET['id'];
    $conn=file_get_contents("http://www.93moli.com/news_list_4_$id.html");//獲取頁(yè)面內(nèi)容
  
  $pattern="/<li><a title=\"(.*)\" target=\"_blank\" href=\"(.*)\">/iUs";//正則

  preg_match_all($pattern, $conn, $arr);//匹配內(nèi)容到arr數(shù)組

  //print_r($arr);die;
  
  foreach ($arr[1] as $key => $value) {//二維數(shù)組[2]對(duì)應(yīng)id和[1]剛好一樣,利用起key
    $url="http://www.93moli.com/".$arr[2][$key];
    $sql="insert into list(title,url) value ('$value', '$url')";
    mysql_query($sql);

    //echo "<a href='content.php?url=http://www.93moli.com/$url'>$value</a>"."<br/>";  
  }
   $id++;
   echo "正在采集URL數(shù)據(jù)列表$id...請(qǐng)稍后...";
   echo "<script>window.location='list.php?id=$id'</script>";

 }else{
   echo "采集數(shù)據(jù)結(jié)束。";
 }

?>

conn.php是數(shù)據(jù)庫(kù)連接文件

list.php是本頁(yè)面

由于要采集的數(shù)據(jù)是分頁(yè)顯示的，且頁(yè)面地址是規(guī)律遞增，所以我用了js跳轉(zhuǎn)代碼，利用id傳值控制采集的頁(yè)數(shù)，也避免了for循環(huán)數(shù)目過(guò)大。

輕輕松松數(shù)據(jù)入庫(kù)，下篇文章寫(xiě)關(guān)于具體url采集信息的過(guò)程。

您可能感興趣的文章:

相關(guān)文章

PHP6連接SQLServer2005的三部曲
PHP6怎么連接sqlserver2005呢？其實(shí)方法步驟很簡(jiǎn)單的。下面腳本之家小編給大家介紹PHP6連接SQLServer2005的三部曲，感興趣的朋友參考下吧
2016-04-04
thinkphp諸多限制條件下如何getshell詳解
這篇文章主要給大家介紹了關(guān)于thinkphp諸多限制條件下如何getshell的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2020-12-12
WordPress中用于獲取文章作者與分類(lèi)信息的方法整理
這篇文章主要介紹了WordPress中用于獲取文章作者與分類(lèi)信息的方法整理,都是來(lái)自于WordPress的WP_Query類(lèi)之下,需要的朋友可以參考下
2015-12-12
詳解Laravel服務(wù)容器的綁定與解析
本篇文章給大家?guī)?lái)的內(nèi)容是關(guān)于Laravel服務(wù)容器的綁定與解析，有一定的參考價(jià)值，有需要的朋友可以參考一下，希望對(duì)你有所幫助
2019-11-11
用來(lái)解析.htgroup文件的PHP類(lèi)
用來(lái)解析.htgroup文件的PHP類(lèi)代碼，需要的朋友可以參考下
2012-09-09
Laravel如何創(chuàng)建服務(wù)器提供者實(shí)例代碼
這篇文章主要給大家介紹了關(guān)于Laravel如何創(chuàng)建服務(wù)器提供者的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家學(xué)習(xí)或者使用Laravel具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2019-04-04
老生常談php中傳統(tǒng)驗(yàn)證與thinkphp框架(必看篇)
下面小編就為大家?guī)?lái)一篇老生常談php中傳統(tǒng)驗(yàn)證與thinkphp框架(必看篇)。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2017-06-06
laravel安裝和配置教程
這篇文章主要介紹了laravel安裝和配置教程,需要的朋友可以參考下
2014-10-10
smarty高級(jí)特性之對(duì)象的使用方法
這篇文章主要介紹了smarty高級(jí)特性之對(duì)象的使用方法,結(jié)合實(shí)例形式簡(jiǎn)單分析了使用類(lèi)與對(duì)象的相關(guān)技巧,需要的朋友可以參考下
2015-12-12
php實(shí)現(xiàn)微信原生支付（掃碼支付）功能
這篇文章主要為大家詳細(xì)介紹了php實(shí)現(xiàn)微信原生支付，掃碼支付功能，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-05-05