快捷導(dǎo)航

基于PHP的簡單采集數(shù)據(jù)入庫程序【續(xù)篇】

更新時間：2014年07月30日 10:22:18 投稿：hebedich

在上篇基于PHP的簡單采集數(shù)據(jù)入庫程序中提到采集新聞信息頁的列表數(shù)據(jù)，接下來講講關(guān)于采集新聞具體內(nèi)容

在上篇文章中，我們已經(jīng)采集新聞信息頁的列表數(shù)據(jù)，接下來要做的操作就是從數(shù)據(jù)庫中讀取所需要采集的URL，進(jìn)行頁面抓取就行

新建一個content表

不過需要注意的一點是，不能再采用采集URL這種id遞增的方法去采集，因為數(shù)據(jù)表中可能出現(xiàn)id斷續(xù)，比如id=9，id=11，當(dāng)采集到id=10的時候，URL是空白的，這樣可能會導(dǎo)致采集到了空字段。

這里用到的一個技巧是數(shù)據(jù)庫的查詢語句，在我們采集完第一條數(shù)據(jù)的時候，判斷數(shù)據(jù)庫里是否還有大于此id的id編號，若有，讀取一條，查詢信息重復(fù)上面的工作。

具體代碼如下：

<?php
  
  include_once("conn.php");
  $id=(int)$_GET['id'];
  $sql="select * from list where id=$id";
  $result=mysql_query($sql);
  $row=mysql_fetch_array($result);//取得對應(yīng)的url地址
  $content=file_get_contents($row['url']);
  $pattern="/<dd class=\"dataWrap\">(.*)<\/dd>/iUs";
  preg_match($pattern, $content,$info);//獲取內(nèi)容存放info
  echo $title=$row[1]."<br/>";
  echo $content=$info[0]."<hr/>";

  //插入數(shù)據(jù)庫
  $add="insert into content(title,content) value('$title','$content')";
  mysql_query($add);

  $sql2="select * from list where id>$id order by id asc limit 1";
  $result2=mysql_query($sql2);
  $row2=mysql_fetch_array($result2);//取得對應(yīng)的url地址
  if($row2['id']){
    echo "<script>window.location='content.php?id=$row2[0]'</script>";
  }

?>

這樣子我們所要的新聞內(nèi)容就采集入庫了，接下來只需要對數(shù)據(jù)的一些樣式進(jìn)行整理就行了。

您可能感興趣的文章:

相關(guān)文章

php對稱加密算法示例
這篇文章主要介紹了php對稱加密算法示例,需要的朋友可以參考下
2014-05-05
phpcms模塊開發(fā)之swfupload的使用介紹
本篇文章介紹了，phpcms模塊開發(fā)之swfupload的使用分析，需要的朋友參考下
2013-04-04
smarty簡單應(yīng)用實例
這篇文章主要介紹了smarty簡單應(yīng)用實例,簡單介紹了smarty中數(shù)據(jù)庫查詢、數(shù)組遍歷及調(diào)用模板顯示數(shù)據(jù)的相關(guān)技巧,簡單易懂,具有一定參考借鑒價值,需要的朋友可以參考下
2015-11-11
yii權(quán)限控制的方法(三種方法)
這篇文章主要介紹了yii權(quán)限控制的方法,結(jié)合實例形式分析了通過accessControl,插件機混合模式三種方法實現(xiàn)權(quán)限控制的實現(xiàn)技巧,需要的朋友可以參考下
2015-12-12
thinkPHP中驗證碼的簡單使用方法
這篇文章主要介紹了thinkPHP中驗證碼的簡單使用方法,涉及thinkPHP驗證碼邏輯功能的實現(xiàn)與界面顯示的相關(guān)技巧,需要的朋友可以參考下
2015-12-12
PHP+Mysql+jQuery文件下載次數(shù)統(tǒng)計實例講解
這篇文章主要內(nèi)容是關(guān)于PHP+Mysql+jQuery文件下載次數(shù)統(tǒng)計實例講解
2015-10-10
詳解WordPress開發(fā)中過濾屬性以及Sql語句的函數(shù)使用
這篇文章主要介紹了WordPress開發(fā)中過濾屬性以及Sql語句的函數(shù)使用,分別是對esc_attr()函數(shù)和esc_sql()函數(shù)的講解,需要的朋友可以參考下
2015-12-12
Codeigniter(CI)框架分頁函數(shù)及相關(guān)知識
文章主要介紹了一個自己封裝的Codeigniter(CI)框架的分頁函數(shù)以及Codeigniter(CI)框架分頁類的使用心得，非常簡單實用，希望對大家能有所幫助
2014-11-11
使用laravel的migrate創(chuàng)建數(shù)據(jù)表的方法
今天小編就為大家分享一篇使用laravel的migrate創(chuàng)建數(shù)據(jù)表的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-09-09
php生成excel列序號代碼實例
php生成excel列序號的方法，大家參考使用吧
2013-12-12