快捷導(dǎo)航

nodeJs爬蟲獲取數(shù)據(jù)簡單實(shí)現(xiàn)代碼

更新時(shí)間：2016年03月29日 17:27:29 作者：Jone_chen

這篇文章主要為大家詳細(xì)介紹了nodeJs爬蟲獲取數(shù)據(jù)簡單實(shí)現(xiàn)代碼，感興趣的小伙伴們可以參考一下

本文實(shí)例為大家分享了nodeJs爬蟲獲取數(shù)據(jù)代碼，供大家參考，具體內(nèi)容如下

var http=require('http');
var cheerio=require('cheerio');//頁面獲取到的數(shù)據(jù)模塊
var url='http://www.jcpeixun.com/lesson/1512/';
function filterData(html){
  /*所要獲取到的目標(biāo)數(shù)組 
　　 var courseData=[{
    chapterTitle:"",
    videosData:{
      videoTitle:title,
      videoId:id,
      videoPrice:price
    }
  }] */
  var $=cheerio.load(html);
  var courseData=[];
  var chapters=$(".list-collapse");
  chapters.each(function(item){
    var chapterTitle=$(this).find(".collapse-head").find("label").text();
    var videos=$(this).find(".listview5").children("li");
    var chaptersData={
      chaptersTitle:chapterTitle,
      videosData:[]
    }
    videos.each(function(item){
      var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
      var videoId=$(this).find(".ml10").attr('data-lesson-id');
      var vadeoPrice=$(this).find(".colblue").text();
      chaptersData.videosData.push({
        title:videoTitle,
        id:videoId,
        price:vadeoPrice
      })
    })
    courseData.push(chaptersData) 
  })
  return courseData
}
function printCourseInfo(courseData){
  courseData.forEach(function(item){
    console.log(item.chaptersTitle+'\n');
    item.videosData.forEach(function(item){
      console.log(item.title+'【'+item.id+'】'+item.price+'\n')
    })
  })
}
http.get(url,function(res){
  html="";
  res.on("data",function(data){
    html+=data
  })
  res.on('end',function(){
    var courseData=filterData(html);
    printCourseInfo(courseData)
  })
})

效果圖：

以上就是nodeJs爬蟲獲取數(shù)據(jù)的相關(guān)代碼，希望對(duì)大家的學(xué)習(xí)有所幫助。

您可能感興趣的文章:

相關(guān)文章

Node.js有效處理并發(fā)連接的過程
在現(xiàn)代 web 開發(fā)中,處理并發(fā)連接是一個(gè)對(duì)于構(gòu)建高性能服務(wù)器至關(guān)重要的話題,Node.js 是一個(gè)使用 JavaScript 作為編程語言的服務(wù)器端環(huán)境,在這篇博客中,我們將深入探討 Node.js 如何有效地管理并發(fā)連接,并提供一些示例代碼以便于更好地理解這個(gè)過程
2024-10-10
Node.js實(shí)現(xiàn)Excel轉(zhuǎn)JSON
本文給大家記錄的是個(gè)人項(xiàng)目中遇到的，使用node.js實(shí)現(xiàn)Excel轉(zhuǎn)換成Json的方法和過程，十分的簡單實(shí)用，也很詳細(xì)，這里推薦給有需要的小伙伴參考下。
2015-04-04
Node中node_modules文件夾及package.json文件的作用說明
這篇文章主要介紹了Node中node_modules文件夾及package.json文件的作用說明，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2022-09-09
詳解NodeJS模塊化
簡單的說Node.js就是運(yùn)行在服務(wù)端的JavaScript。Node.js是一個(gè)基于Chrome JavaScript運(yùn)行時(shí)建立的一個(gè)平臺(tái)。Node.js是一個(gè)事件驅(qū)動(dòng)I/O服務(wù)端JavaScript環(huán)境，基于Google的V8引擎，V8引擎執(zhí)行Javascript的速度非?？?，性能非常好
2021-06-06
nodeJS代碼實(shí)現(xiàn)計(jì)算交社保是否合適
本文通過nodejs的一個(gè)具體示例來對(duì)比分析現(xiàn)階段我們交社保合不合適，主要是對(duì)nodejs的一個(gè)小的應(yīng)用，當(dāng)然大家也可以改成其他語言的，程序猿們，來算算吧。
2015-03-03
前端需知nodejs?express中間件使用及定義詳解
這篇文章主要為大家介紹了前端需知nodejs?express中間件使用及定義詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-10-10
node.js實(shí)現(xiàn)批量修改git項(xiàng)目的數(shù)據(jù)源(步驟詳解)
文章介紹了如何使用Node.js腳本批量修改大型項(xiàng)目中各個(gè)項(xiàng)目的Git地址域名,通過引入模塊、聲明域名常量、定義遍歷函數(shù)和修改目錄等步驟,實(shí)現(xiàn)一次性批量修改,從而節(jié)省時(shí)間和精力
2024-11-11
快速查詢nodejs版本信息的六種方法
Node.js是一款基于Chrome V8引擎的快速、輕量級(jí)的JavaScript運(yùn)行時(shí),隨著應(yīng)用程序規(guī)模越來越龐大,Node.js版本的更新也日益頻繁,這篇文章旨在幫助開發(fā)者們快速查詢Node.js版本信息,需要的朋友可以參考下
2023-11-11
node.js中的fs.read方法使用說明
這篇文章主要介紹了node.js中的fs.read方法使用說明,本文介紹了fs.read方法說明、語法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下
2014-12-12
淺談NodeJS中require路徑問題
學(xué)習(xí)Nodejs也是出于對(duì)這個(gè)新產(chǎn)物的好奇，而且有兩個(gè)重要項(xiàng)目也需要他的支持，所以要好好學(xué)學(xué)這個(gè)新語種。在nodejs中，模塊大概可以分為核心模塊和文件模塊。核心模塊是被編譯成二進(jìn)制代碼，引用的時(shí)候只需require表示符即可
2015-05-05