基于curl數(shù)據(jù)采集之單頁面采集函數(shù)get_html的使用
這是一個系列 沒辦法在一兩天寫完 所以一篇一篇的發(fā)布
大致大綱：
1.curl數(shù)據(jù)采集系列之單頁面采集函數(shù)get_html
2.curl數(shù)據(jù)采集系列之多頁面并行采集函數(shù)get_htmls
3.curl數(shù)據(jù)采集系列之正則處理函數(shù)get _matches
4.curl數(shù)據(jù)采集系列之代碼分離
5.curl數(shù)據(jù)采集系列之并行邏輯控制函數(shù)web_spider
單頁面采集在數(shù)據(jù)采集過程中是最常用的一個功能 有時在服務(wù)器訪問限制的情況下 只能使用這種采集方式 慢 但是可以簡單的控制 所以寫好一個常用的curl函數(shù)調(diào)用是很重要的
百度和網(wǎng)易比較熟悉 所以拿這兩個網(wǎng)站首頁采集來做例子講解
最簡單的寫法：
$url = 'http://www.baidu.com';
$ch = curl_init($url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,true);
curl_setopt($ch,CURLOPT_TIMEOUT,5);
$html = curl_exec($ch);
if($html !== false){
echo $html;
}
由于使用頻繁 可以利用curl_setopt_array寫成函數(shù)的形式：
function get_html($url,$options = array()){
$options[CURLOPT_RETURNTRANSFER] = true;
$options[CURLOPT_TIMEOUT] = 5;
$ch = curl_init($url);
curl_setopt_array($ch,$options);
$html = curl_exec($ch);
curl_close($ch);
if($html === false){
return false;
}
return $html;
}
$url = 'http://www.baidu.com';
echo get_html($url);
有時候需要傳遞一些特定的參數(shù)才能得到正確的頁面 如現(xiàn)在要得到網(wǎng)易的頁面：
$url = 'http://www.163.com';
echo get_html($url);
會看到一片空白 什么也沒有 那么再利用curl_getinfo寫一個函數(shù) 看看發(fā)生了什么：
function get_info($url,$options = array()){
$options[CURLOPT_RETURNTRANSFER] = true;
$options[CURLOPT_TIMEOUT] = 5;
$ch = curl_init($url);
curl_setopt_array($ch,$options);
$html = curl_exec($ch);
$info = curl_getinfo($ch);
curl_close($ch);
return $info;
}
$url = 'http://www.163.com';
var_dump(get_info($url));
可以看到http_code 302 重定向了 這時候就需要傳遞一些參數(shù)了：
$url = 'http://www.163.com';
$options[CURLOPT_FOLLOWLOCATION] = true;
echo get_html($url,$options);
會發(fā)現(xiàn) 怎么是這樣的一個頁面 和我們電腦訪問的不同？？？
看來參數(shù)還是不夠 不夠服務(wù)器判斷我們的客戶端是什么設(shè)備上的 就返回了個普通版
看來還要傳送USERAGENT
$url = 'http://www.163.com';
$options[CURLOPT_FOLLOWLOCATION] = true;
$options[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1; rv:19.0) Gecko/20100101 Firefox/19.0';
echo get_html($url,$options);
OK現(xiàn)在頁面已經(jīng)出來了 這樣基本這個get_html函數(shù)基本能實現(xiàn)這樣擴(kuò)展的功能
當(dāng)然也有另外的辦法可以實現(xiàn)，當(dāng)你明確的知道網(wǎng)易的網(wǎng)頁的時候就可以簡單采集了：
$url = 'http://www.163.com/index.html';
echo get_html($url);
這樣也可以正常的采集
- ko knockoutjs動態(tài)屬性綁定技巧應(yīng)用
- Knockoutjs的環(huán)境搭建教程
- Knockoutjs快速入門(經(jīng)典)
- ASP.net WebAPI 上傳圖片實例
- node+express+ejs制作簡單頁面上手指南
- 為ASP.NET MVC及WebApi添加路由優(yōu)先級
- C#進(jìn)階系列 WebApi身份認(rèn)證解決方案推薦:Basic基礎(chǔ)認(rèn)證
- Bootstrap與KnockoutJs相結(jié)合實現(xiàn)分頁效果實例詳解
- KnockoutJs快速入門教程
- WebApi+Bootstrap+KnockoutJs打造單頁面程序
相關(guān)文章
PHP實現(xiàn)隨機(jī)數(shù)字、字母的驗證碼功能
本文通過實例代碼給大家介紹了PHP實現(xiàn)隨機(jī)數(shù)字、字母的驗證碼功能，代碼簡單易懂，非常不錯，具有一定得參考借鑒價值，需要得朋友參考下吧2018-08-08
這篇文章主要給大家總結(jié)介紹了關(guān)于Laravel中10個有用的用法，文中通過示例代碼介紹的非常詳細(xì)，對大家學(xué)習(xí)或者使用Laravel具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
這篇文章主要介紹了PHP實現(xiàn)的多彩標(biāo)簽效果代碼分享,經(jīng)?？梢钥吹揭恍┎┛椭械臉?biāo)簽(TAGS)頁面是彩色的效果展現(xiàn),本文就給出了實現(xiàn)這個功能的PHP代碼,需要的朋友可以參考下2014-08-08
這篇文章主要介紹了Yii中CGridView禁止列排序的設(shè)置方法,講述了CGridView的功能及通過數(shù)組項sortable設(shè)置實現(xiàn)禁止排列功能的方法,需要的朋友可以參考下2016-07-07
這篇文章主要介紹了PHP中使用ElasticSearch最新實例講解，這篇文章的教程是比較詳細(xì)，有需要的同學(xué)可以研究下2021-03-03
php高級版本都支持mysqli擴(kuò)展類，但是默認(rèn)情況下，mysqli擴(kuò)展類是沒有開啟的，本文章向大家介紹php如何判斷mysqli擴(kuò)展類是否開啟，需要的朋友可以參考一下2016-12-12
本篇文章對PHP中的一些常用函數(shù)的用法進(jìn)行了詳細(xì)的分析介紹。需要的朋友參考下2013-05-05
利用PHP?POST臨時文件機(jī)制實現(xiàn)任意文件上傳的方法詳解
這篇文章主要介紹了利用?PHP?POST?臨時文件機(jī)制實現(xiàn)任意文件上傳,同時該過程也會打斷 php 對臨時文件的處理，雖然最終仍會被刪除，但相較之前可以明顯看出臨時文件在磁盤的中存在的時間變長了，需要的朋友可以參考下2022-04-04
Laravel認(rèn)證原理以及完全自定義認(rèn)證詳解
最近在學(xué)習(xí)laravel框架，所以下面這篇文章主要給大家介紹了關(guān)于Laravel認(rèn)證原理以及完全自定義認(rèn)證的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2018-07-07
zend framework文件上傳功能實例代碼,php的版本5.3.8，zend framework的版本1.12,看下面的代碼吧，有注釋2013-12-12