快捷導(dǎo)航

node.js實(shí)現(xiàn)博客小爬蟲(chóng)的實(shí)例代碼

更新時(shí)間：2016年10月08日 10:31:17 作者：蛋炒飯

這篇文章通過(guò)實(shí)例代碼來(lái)給大家介紹如何利用node.js實(shí)現(xiàn)博客小爬蟲(chóng)，有需要的朋友們可以直接運(yùn)用文中給出的實(shí)例代碼來(lái)進(jìn)行實(shí)踐學(xué)習(xí)，感興趣的朋友們下面來(lái)一起看看吧。

前言

爬蟲(chóng)，是一種自動(dòng)獲取網(wǎng)頁(yè)內(nèi)容的程序。是搜索引擎的重要組成部分，因此搜索引擎優(yōu)化很大程度上就是針對(duì)爬蟲(chóng)而做出的優(yōu)化。

這篇文章介紹的是利用node.js實(shí)現(xiàn)博客小爬蟲(chóng)，核心的注釋我都標(biāo)注好了，可以自行理解，只需修改url和按照要趴的博客內(nèi)部dom構(gòu)造改一下filterchapters和filterchapters1就行了！

下面話不多說(shuō)，直接來(lái)看實(shí)例代碼

var http=require('http');
var Promise=require('Bluebird');
var cheerio = require('cheerio');
var url='http://www.immaster.cn';//博客地址
function filterchapters1(html) {//解析文章鏈接
 var $ =cheerio.load(html);
 var post=$('.post');
 
 var content=[];
 post.each(function (item) {
 
 var postid=$(this).find('.tit').find('a').attr('href');
 
 content.push(postid);
 })
 return content;
}
function filterchapters(html) {//解析每個(gè)文章內(nèi)的內(nèi)容
 var $ =cheerio.load(html);
 var tit=$('.post .tit').find('a').text();
 var postid=$('.tit').find('a').attr('href');
 var commentnum=$('.comments-title').text();
 commentnum=commentnum.trim();
 // commentnum=commentnum.replace('\n','');
 var content={tit:tit,url:postid,commentnum:commentnum};
 return content;
}
function getid(url){//爬取首頁(yè)文章鏈接
 return new Promise(function (resolve,reject) {
 http.get(url,function (res) {
 var html = '';
 res.on('data',function(data) {
 html+=data;
 });
 res.on('end',function () {
 var content=filterchapters1(html)
 resolve(content);
 
 })
}).on('error',function () {
 reject(e);
 console.log('抓取出錯(cuò)！')
 })
})
}
function getpageAsync(url) {//爬取單個(gè)頁(yè)面內(nèi)容
 return new Promise(function (resolve,reject) {
 console.log('正在爬取……'+url)
 http.get(url,function (res) {
 var html = '';
 res.on('data',function(data) {
 html+=data;
 });
 res.on('end',function () {
 resolve(html);
 
 })
 }).on('error',function () {
 reject(e);
 console.log('抓取出錯(cuò)！')
 })
 })
}
getid(url)
 .then(function(postid){
 return new Promise(function (resolve,reject) {
 var pageurls=[];
 postid.forEach(function (id) {
 pageurls.push(getpageAsync(id));
 })
 resolve(pageurls);
 })
 })
 .then(function(pageurls){
 return new Promise.all(pageurls);//讓promise對(duì)象同時(shí)開(kāi)始運(yùn)行
 })
 .then(function (pages) {
 var coursesData=[];
 pages.forEach(function (html) {
 var courses=filterchapters(html);
 coursesData.push(courses);
 })
coursesData.forEach(function(v){
 console.log('標(biāo)題：'+v.tit+"\n地址："+v.url+"\n評(píng)論："+v.commentnum)
 })
 })

總結(jié)

以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家學(xué)習(xí)或者使用node.js實(shí)現(xiàn)爬蟲(chóng)能有所幫助，如果有疑問(wèn)大家可以留言交流。

您可能感興趣的文章: