自己寫的php curl庫實現(xiàn)整站克隆功能
更新時間：2015年02月12日 10:36:49 投稿：junjie
這篇文章主要介紹了自己寫的php curl庫實現(xiàn)整站克隆功能,本文給出工具庫源碼下載和使用示例,需要的朋友可以參考下
有時候經(jīng)常會用到一些在線手冊，比如國內(nèi)或國外的，有些是訪問速度慢，有些是作者直接吧網(wǎng)站關(guān)閉了，有些是服務(wù)器總是宕機，所以還是全盤克隆到自己服務(wù)器比較爽。
庫特點：
給定一初始連接，初始鏈接以下的層級所有文件會拷貝到本地。
多次克隆可以配置是否覆蓋。
可以配置是否下載圖片。
所有鏈接替換為相對鏈接，所以可以隨便rewrite。
絕對不會出現(xiàn)文件覆蓋等問題。
最NB的特點是，沒有比這更NB的庫了。
SVN：http://svn.phpdr.net/repos/ares/php/library/trunk/lib/CurlMulti/MyCurl/Clone.php
腳本之家下載：http://xiazai.jb51.net/201502/other/CurlMulti.rar
克隆結(jié)果展示(這個克隆操作幾秒鐘就完成了)：
克隆源網(wǎng)站：http://www.laruence.com/manual/
克隆結(jié)果：http://manual.phpdr.net/yaf/
Demo代碼：
復(fù)制代碼 代碼如下:
<?php
class Controller_Spider extends MyYaf_Controller_Base{
function init(){
parent::init();
if(!$this->getRequest()->isCli()){
Ares_Http::error403();
}
include 'CurlMulti/CurlMulti.php';
include 'CurlMulti/MyCurl.php';
include 'phpQuery.php';
}
}
復(fù)制代碼 代碼如下:
<?php
class YafdocController extends Controller_Spider {
function init() {
parent::init ();
include 'CurlMulti/MyCurl/Clone.php';
}
function indexAction() {
$url = 'http://www.laruence.com/manual';
$dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual';
$cacheDir = $this->getBaseDir () . '/cache/curl';
if (! is_dir ( $cacheDir )) {
mkdir ( $cacheDir );
}
$curl = new CurlMulti ();
$curl->maxThread = 10;
$curl->cache ['enable'] = true;
$curl->cache ['enableDownload'] = true;
$curl->cache ['dir'] = $cacheDir;
$curl->cache ['compress'] = true;
$clone = new MyCurl_Clone ( $curl, $url, $dir );
$clone->overwrite = true;
$clone->start ();
return false;
}
}
相關(guān)文章
Laravel (Lumen) 解決JWT-Auth刷新token的問題
今天小編就為大家分享一篇Laravel (Lumen) 解決JWT-Auth刷新token的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-10-10
php smarty truncate UTF8亂碼問題解決辦法
這篇文章主要介紹了php smarty truncate UTF8亂碼問題解決辦法,需要的朋友可以參考下2014-06-06
本篇文章主要介紹了PHP數(shù)組內(nèi)存利用率低和弱類型詳細解讀，具有一定的參考價值，感興趣的小伙伴們可以參考一下。2017-08-08
一般mysql數(shù)據(jù)庫中存儲時間都是使用的Unix時間戳，那么我們顯示時間的時候如果更加的友好呢，今天就給大家分享3個封裝好的格式化函數(shù)，有需要的小伙伴可以參考下2016-12-12
這篇文章主要介紹了phpStorm+XDebug+chrome 配置詳解，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
這篇文章主要介紹了Thinkphp5.0自動生成模塊及目錄的方法,簡單分析了Thinkphp5.0的結(jié)構(gòu)、目錄、創(chuàng)建與運行方法,需要的朋友可以參考下2017-04-04
Gulp 是一個自動化工具，前端開發(fā)者可以使用它來處理常見任務(wù)，下面這篇文章主要給大家介紹了關(guān)于Laravel利用gulp如何構(gòu)建前端資源的相關(guān)資料，文中通過示例代碼介紹的非常詳細，需要的朋友可以參考借鑒，下面來一起看看吧2018-06-06
這篇文章主要介紹了CodeIgniter CLI模式,需要的朋友可以參考下2014-06-06
PHP 構(gòu)造函數(shù)和析構(gòu)函數(shù)原理與用法分析
這篇文章主要介紹了PHP 構(gòu)造函數(shù)和析構(gòu)函數(shù)原理與用法,結(jié)合具體實例形式分析了PHP 構(gòu)造函數(shù)和析構(gòu)函數(shù)基本概念、功能、原理、用法及相關(guān)操作注意事項,需要的朋友可以參考下2020-04-04
這篇文章主要介紹了ThinkPHP之用戶注冊登錄留言完整實例,有助于詳細了解ThinkPHP的運作流程,需要的朋友可以參考下2014-07-07