快捷導(dǎo)航

Node.js+jade抓取博客所有文章生成靜態(tài)html文件的實例

更新時間：2017年09月19日 07:59:35 作者：ghostwu

下面小編就為大家?guī)硪黄狽ode.js+jade抓取博客所有文章生成靜態(tài)html文件的實例。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

這篇文章，我們就把上文中采集到的所有文章列表的信息整理一下，開始采集文章并且生成靜態(tài)html文件了.先看下我的采集效果，我的博客目前77篇文章，1分鐘不到就全部采集生成完畢了，這里我截了部分的圖片，文件名用文章的id生成的，生成的文章，我寫了一個簡單的靜態(tài)模板，所有的文章都是根據(jù)這個模板生成的.

項目結(jié)構(gòu):

好了，接下來，我們就來講解下，這篇文章主要實現(xiàn)的功能：

1，抓取文章，主要抓取文章的標題，內(nèi)容，超鏈接，文章id（用于生成靜態(tài)html文件）

2，根據(jù)jade模板生成html文件

一、抓取文章如何實現(xiàn)？

非常簡單，跟上文抓取文章列表的實現(xiàn)差不多

function crawlerArc( url ){
  var html = '';
  var str = '';
  var arcDetail = {};
  http.get(url, function (res) {
    res.on('data', function (chunk) {
      html += chunk;
    });
    res.on('end', function () {
      arcDetail = filterArticle( html );
      str = jade.renderFile('./views/layout.jade', arcDetail );
      fs.writeFile( './html/' + arcDetail['id'] + '.html', str, function( err ){
        if( err ) {
          console.log( err );
        }
        console.log( 'success:' + url );
        if ( aUrl.length ) crawlerArc( aUrl.shift() );
      } );
    });
  });
}

參數(shù)url就是文章的地址，把文章的內(nèi)容抓取完畢之后，調(diào)用filterArticle( html ) 過濾出需要的文章信息（id, 標題，超鏈接，內(nèi)容），然后用jade的renderFile這個api，實現(xiàn)模板內(nèi)容的替換，

模板內(nèi)容替換完之后，肯定就需要生成html文件了, 所以用writeFile寫入文件，寫入文件時候，用id作為html文件名稱。這就是生成一篇靜態(tài)html文件的實現(xiàn)，

接下來就是循環(huán)生成靜態(tài)html文件了，就是下面這行:

if ( aUrl.length ) crawlerArc( aUrl.shift() );

aUrl保存的是我的博客所有文章的url, 每次采集完一篇文章之后，就把當前文章的url刪除，讓下一篇文章的url出來，繼續(xù)采集

完整的實現(xiàn)代碼server.js：

var fs = require( 'fs' );
var http = require( 'http' );
var cheerio = require( 'cheerio' );
var jade = require( 'jade' );

var aList = [];
var aUrl = [];

function filterArticle(html) {
  var $ = cheerio.load( html );
  var arcDetail = {};
  var title = $( "#cb_post_title_url" ).text();
  var href = $( "#cb_post_title_url" ).attr( "href" );
  var re = /\/(\d+)\.html/;
  var id = href.match( re )[1];
  var body = $( "#cnblogs_post_body" ).html();
  return {
    id : id,
    title : title,
    href : href,
    body : body
  };
}

function crawlerArc( url ){
  var html = '';
  var str = '';
  var arcDetail = {};
  http.get(url, function (res) {
    res.on('data', function (chunk) {
      html += chunk;
    });
    res.on('end', function () {
      arcDetail = filterArticle( html );
      str = jade.renderFile('./views/layout.jade', arcDetail );
      fs.writeFile( './html/' + arcDetail['id'] + '.html', str, function( err ){
        if( err ) {
          console.log( err );
        }
        console.log( 'success:' + url );
        if ( aUrl.length ) crawlerArc( aUrl.shift() );
      } );
    });
  });
}

function filterHtml(html) {
  var $ = cheerio.load(html);
  var arcList = [];
  var aPost = $("#content").find(".post-list-item");
  aPost.each(function () {
    var ele = $(this);
    var title = ele.find("h2 a").text();
    var url = ele.find("h2 a").attr("href");
    ele.find(".c_b_p_desc a").remove();
    var entry = ele.find(".c_b_p_desc").text();
    ele.find("small a").remove();
    var listTime = ele.find("small").text();
    var re = /\d{4}-\d{2}-\d{2}\s*\d{2}[:]\d{2}/;
    listTime = listTime.match(re)[0];

    arcList.push({
      title: title,
      url: url,
      entry: entry,
      listTime: listTime
    });
  });
  return arcList;
}

function nextPage( html ){
  var $ = cheerio.load(html);
  var nextUrl = $("#pager a:last-child").attr('href');
  if ( !nextUrl ) return getArcUrl( aList );
  var curPage = $("#pager .current").text();
  if( !curPage ) curPage = 1;
  var nextPage = nextUrl.substring( nextUrl.indexOf( '=' ) + 1 );
  if ( curPage < nextPage ) crawler( nextUrl );
}

function crawler(url) {
  http.get(url, function (res) {
    var html = '';
    res.on('data', function (chunk) {
      html += chunk;
    });
    res.on('end', function () {
      aList.push( filterHtml(html) );
      nextPage( html );
    });
  });
}

function getArcUrl( arcList ){
  for( var key in arcList ){
    for( var k in arcList[key] ){
      aUrl.push( arcList[key][k]['url'] );
    }
  }
  crawlerArc( aUrl.shift() );
}

var url = 'http://www.cnblogs.com/ghostwu/';
crawler( url );

layout.jade文件:

doctype html
html
  head
    meta(charset='utf-8')
    title jade+node.js express
    link(rel="stylesheet", href='./css/bower_components/bootstrap/dist/css/bootstrap.min.css')
  body
    block header
      div.container
        div.well.well-lg
          h3 ghostwu的博客
          p js高手之路
    block container
      div.container
        h3
          a(href="#{href}" rel="external nofollow" ) !{title}
        p !{body}
    block footer
      div.container
        footer 版權(quán)所有 - by ghostwu

后續(xù)的打算：

1，采用mongodb入庫

2，支持斷點采集

3，采集圖片

4，采集小說

等等....

以上這篇Node.js+jade抓取博客所有文章生成靜態(tài)html文件的實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章: