Node.js爬取豆瓣數(shù)據(jù)實(shí)例分析
一直自以為自己vue還可以，一直自以為webpack還可以，今天在慕課逛node的時(shí)候，才發(fā)現(xiàn)，自己還差的很遠(yuǎn)。眾所周知，vue-cli基于webpack，而webpack基于node，對(duì)node不了解，談什么了解webpack。所以就自己給自己出了一道題，爬取豆瓣數(shù)據(jù)，目前還處于初級(jí)階段。今天就淺談爬取到豆瓣的數(shù)據(jù)，再另一個(gè)頁面用自己的方式展現(xiàn)，后續(xù)會(huì)跟進(jìn)。
1、需要解決的問題
- 搭建服務(wù)
- 怎么處理爬到的數(shù)據(jù)
- 怎么自動(dòng)打開默認(rèn)瀏覽器
2、搭建服務(wù)
搭建服務(wù)有好幾種方式，一開始我用的http，但是http有個(gè)弊端就是不能解析https協(xié)議的url，所以就用了express，解析https協(xié)議的網(wǎng)址我用了request包，豆瓣的網(wǎng)址是https的，
今天爬取的是https://movie.douban.com/chart這個(gè)網(wǎng)址；如下圖，我要獲取的有三個(gè)部分，圖片、電影名字、電影鏈接.
3、怎么處理爬到的數(shù)據(jù)
我們用request爬到的數(shù)據(jù)，怎么處理呢？cheerio包可以讓我們像Jq那樣處理爬到的html數(shù)據(jù)。
①、首先解析數(shù)據(jù)，取到爬取網(wǎng)頁的html數(shù)據(jù)；
②、然后利用cheerio包操作爬到的數(shù)據(jù)，取到你想要的數(shù)據(jù)。
③、取到數(shù)據(jù)，創(chuàng)建html，輸出到頁面。如下圖，我用的字符串拼接，辦法有點(diǎn)笨，還沒有找到更好的辦法。
4、怎么自動(dòng)打開默認(rèn)瀏覽器
不知道你有沒有看vue-cli中webpack的配置，自動(dòng)打開瀏覽器，vue-cli用的opn包.
這個(gè)包用起來很方便，引入包，直接調(diào)用opn（url）即可；
5、展示
相關(guān)文章
nodejs之koa2請(qǐng)求示例(GET,POST)
本篇文章主要介紹了nodejs之koa2請(qǐng)求示例(GET,POST)，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2018-08-08
node微信開發(fā)之獲取access_token+自定義菜單
這篇文章主要介紹了node微信開發(fā)之獲取access_token+自定義菜單，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
這篇文章主要介紹了NodeJS制作爬蟲的全過程，包括項(xiàng)目建立，目標(biāo)網(wǎng)站分析、使用superagent獲取源數(shù)據(jù)、使用cheerio解析、使用eventproxy來并發(fā)抓取每個(gè)主題的內(nèi)容等方面，有需要的小伙伴參考下吧。2014-12-12
這篇文章主要介紹了nodejs中實(shí)現(xiàn)路由功能,顧名思義,路由指的就是我們要針對(duì)不同的URL有不同的處理方式,本文將教你在node.js中實(shí)現(xiàn)路由功能,需要的朋友可以參考下2014-12-12
本文主要介紹了Node中的streams流的具體使用，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-02-02
Windows系統(tǒng)下Node.js的簡(jiǎn)單入門教程
這篇文章主要介紹了Windows系統(tǒng)下Node.js的簡(jiǎn)單入門教程,Node.js是用于后端編程的JavaScript框架,需要的朋友可以參考下2015-06-06
node 利用進(jìn)程通信實(shí)現(xiàn)Cluster共享內(nèi)存
本篇文章主要介紹了node 利用進(jìn)程通信實(shí)現(xiàn)Cluster共享內(nèi)存，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-10-10
錯(cuò)誤處理并不是編碼工作中最吸引人的部分,但在?Node.js?中構(gòu)建可靠、生產(chǎn)級(jí)別的應(yīng)用程序時(shí),它是絕對(duì)必要的,下面小編就來為大家介紹一下Node.js中處理錯(cuò)誤的4種最佳方法吧2025-02-02
這篇文章主要介紹了JS前端模塊化的幾種規(guī)范，對(duì)前端模塊化感興趣的同學(xué)，可以參考下2021-05-05
nodejs實(shí)現(xiàn)百度輿情接口應(yīng)用示例
這篇文章主要介紹了nodejs實(shí)現(xiàn)百度輿情接口應(yīng)用,結(jié)合實(shí)例形式分析了node.js調(diào)用百度輿情接口的具體使用技巧,需要的朋友可以參考下2020-02-02