快捷導(dǎo)航

基于ThinkPHP5框架使用QueryList爬取并存入mysql數(shù)據(jù)庫(kù)操作示例

更新時(shí)間：2019年05月25日 12:03:49 作者：qq_37138818

這篇文章主要介紹了基于ThinkPHP5框架使用QueryList爬取并存入mysql數(shù)據(jù)庫(kù)操作,結(jié)合實(shí)例形式分析了thinkPHP5框架整合QueryList爬取數(shù)據(jù)存入mysql相關(guān)操作技巧及注意事項(xiàng),需要的朋友可以參考下

本文實(shí)例講述了基于ThinkPHP5框架使用QueryList爬取并存入mysql數(shù)據(jù)庫(kù)操作。分享給大家供大家參考，具體如下：

QueryList4教程地址：

https://doc.querylist.cc/site/index/doc/45

在ThinkPHP5代碼根目錄執(zhí)行composer命令安裝QueryList:

composer require jaeger/querylist

如果出現(xiàn) 以下錯(cuò)誤

Loading composer repositories with package information
Updating dependencies (including require-dev)
Authentication required (packagist.phpcomposer.com):
Username:

出現(xiàn)這樣的情況

使用

composer config -g repo.packagist composer https://packagist.laravel-china.org

下面演示在Index控制器中使用QueryList:

use QL\QueryList;
public function qulist(){
  $data = QueryList::get('http://maoyan.com/board/4')
  // 設(shè)置采集規(guī)則
  ->rules([
    // 爬取圖片地址
    "src"=>array(".board-wrapper dd img.board-img","data-src"),
    // 爬取電影名
    "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
    // 爬取電影主演信息
    "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
    // 爬取上映時(shí)間
    "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
  ])
  ->query()->getData();
  $excel_array=$data->all();
  var_dump($excel_array);exit;
}

如果沒(méi)有錯(cuò)的則

如果想繼續(xù)抓取下一頁(yè)的數(shù)據(jù) 要根據(jù)規(guī)律來(lái)去

這里我繼續(xù)抓取20頁(yè) 但是沒(méi)有那么多就抓取了10頁(yè)的數(shù)據(jù)

public function qulist(){
    for($i=0;$i<20;$i++){
      $page=$i*10;
      $data = QueryList::get('http://maoyan.com/board/4?offset='.$page)
        // 設(shè)置采集規(guī)則
        ->rules([
          // 爬取圖片地址
          "src"=>array(".board-wrapper dd img.board-img","data-src"),
          // 爬取電影名
          "name"=>array(".board-wrapper dd .movie-item-info .name","html"),
          // 爬取電影主演信息
          "star"=>array(".board-wrapper dd .movie-item-info .star","html"),
          // 爬取上映時(shí)間
          "releasetime"=>array(".board-wrapper dd .movie-item-info .releasetime","html"),
        ])
        ->query()->getData();
      $excel_array=$data->all();
      var_dump($excel_array);exit;
    }
}

將數(shù)據(jù)插入到數(shù)據(jù)庫(kù) 詳細(xì)步驟