PHP curl實現(xiàn)抓取302跳轉(zhuǎn)后頁面的示例
更新時間：2014年07月04日 10:43:25 投稿：junjie
這篇文章主要介紹了PHP curl實現(xiàn)抓取302跳轉(zhuǎn)后頁面的示例,主要是對CURLOPT_CUSTOMREQUEST參數(shù)的運用,需要的朋友可以參考下
PHP的CURL正常抓取頁面程序如下：
$url = 'http://www.baidu.com'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_VERBOSE, true); curl_setopt($ch, CURLOPT_HEADER, true); curl_setopt($ch, CURLOPT_NOBODY, true); curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_TIMEOUT, 20); curl_setopt($ch, CURLOPT_AUTOREFERER, true); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true); $ret = curl_exec($ch); $info = curl_getinfo($ch); curl_close($ch);
如果你抓取到的是302狀態(tài)，是因為再抓取的過程中，有的跳轉(zhuǎn)需要給下一個鏈接傳遞參數(shù)，而下一個鏈接同時也設(shè)置了如果沒接收到相應(yīng)的參數(shù)是為非法訪問。
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, 'GET');
顯示就應(yīng)該正常了。
上面用來抓取功能，幾乎應(yīng)該沒問題的。你可以查一下CURLOPT_CUSTOMREQUEST相關(guān)資料。
使用一個自定義的請求信息來代替”GET”或”HEAD”作為HTTP請求。這對于執(zhí)行”DELETE” 或者其他更隱蔽的HTTP請求。有效值如”GET”，”POST”，”CONNECT”等等。也就是說，不要在這里輸入整個HTTP請求。例如輸入”GET /index.html HTTP/1.0\r\n\r\n”是不正確的。
您可能感興趣的文章:
- 一個PHP實現(xiàn)的輕量級簡單爬蟲
- PHP代碼實現(xiàn)爬蟲記錄——超管用
- php 向訪客和爬蟲顯示不同的內(nèi)容
- php IIS日志分析搜索引擎爬蟲記錄程序
- PHP爬蟲之百萬級別知乎用戶數(shù)據(jù)爬取與分析
- php與python實現(xiàn)的線程池多線程爬蟲功能示例
- 利用php抓取蜘蛛爬蟲痕跡的示例代碼
- PHP實現(xiàn)采集抓取淘寶網(wǎng)單個商品信息
- php使用curl和正則表達(dá)式抓取網(wǎng)頁數(shù)據(jù)示例
- PHP CURL模擬登錄新浪微博抓取頁面內(nèi)容 基于EaglePHP框架開發(fā)
- PHP多線程抓取網(wǎng)頁實現(xiàn)代碼
- PHPCrawl爬蟲庫實現(xiàn)抓取酷狗歌單的方法示例
相關(guān)文章
windows環(huán)境下使用Composer安裝ThinkPHP5
本文給大家分享的是在windows環(huán)境下使用Composer安裝ThinkPHP5的具體步驟和方法，非常的簡單實用，有需要的小伙伴可以參考下2018-05-05
這篇文章主要介紹了YII關(guān)聯(lián)查詢的相關(guān)資料,需要的朋友可以參考下2016-01-01
下面小編就為大家?guī)硪黄狿HP調(diào)試及性能分析工具Xdebug詳解。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-02-02
本篇文章主要介紹了PHP實現(xiàn)微信紅包金額拆分試玩的算法示例，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2018-04-04
下面小編就為大家?guī)硪黄猵hp讀取qqwry.dat ip地址定位文件的類實例代碼。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2016-11-11
這篇文章主要介紹了使用php獲取bing每日壁紙的示例,需要的朋友可以參考下2014-02-02
DEDE實現(xiàn)轉(zhuǎn)跳屬性文檔在模板上調(diào)用出轉(zhuǎn)跳地址
這篇文章主要介紹了DEDE實現(xiàn)轉(zhuǎn)跳屬性文檔在模板上調(diào)用出轉(zhuǎn)跳地址，有需要的朋友可以參考一下。2016-11-11
PHP仿qq空間或朋友圈發(fā)布動態(tài)、評論動態(tài)、回復(fù)評論、刪除動態(tài)或評論的功能（上）
我們大部分人都發(fā)過動態(tài)，想必都知道發(fā)動態(tài)、回復(fù)評論、刪除動態(tài)的整個過程，那么這個功能是如何實現(xiàn)的呢？下面小編給大家?guī)砹藢嵗a，對PHP仿qq空間或朋友圈發(fā)布動態(tài)、評論動態(tài)、回復(fù)評論、刪除動態(tài)或評論的功能感興趣的朋友，一起學(xué)習(xí)吧2017-05-05
Laravel 6 將新增為指定隊列任務(wù)設(shè)置中間件的功能
這篇文章主要介紹了Laravel 6 將新增為指定隊列任務(wù)設(shè)置中間件的功能,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價值，需要的朋友可以參考下2019-08-08
thinkphp5框架前后端分離項目實現(xiàn)分頁功能的方法分析
這篇文章主要介紹了thinkphp5框架前后端分離項目實現(xiàn)分頁功能的方法,結(jié)合實例形式分析了thinkPHP5前后端分離項目的分頁功能常見實現(xiàn)技巧與操作注意事項,需要的朋友可以參考下2019-10-10