Node批量爬取頭條視頻并保存方法

更新時間：2018年09月20日 08:37:03 投稿：laozhang

在本篇文章中我們給大家介紹了node爬取頭條里面的視頻，并進行批量保存的方法，有需要的朋友可以測試以下。

簡介

一般批量爬取視頻或者圖片的套路是，使用爬蟲獲得文件鏈接集合，然后通過 writeFile 等方法逐個保存文件。然而，頭條的視頻，在需要爬取的 html 文件（服務端渲染輸出）中，無法捕捉視頻鏈接。視頻鏈接是頁面在客戶端渲染時，通過某些 js 文件內(nèi)的算法或者解密方法，根據(jù)視頻的已知 key 或者 hash 值，動態(tài)計算出來并添加到 video 標簽的。這也是網(wǎng)站的一種反爬措施。

我們在瀏覽這些頁面時，通過審核元素，可以看到計算后的文件地址。然而在批量下載時，逐個手動的獲取視頻鏈接顯然不可取。開心的是，puppeteer 提供了模擬訪問 Chrome 的功能，使我們可以爬取經(jīng)過瀏覽器渲染出來的最終頁面。

項目啟動

命令

npm i
npm start

Notice: 安裝 puppeteer 的過程稍慢，耐心等待。

配置文件

// 配置相關
module.exports = {
 originPath: 'https://www.ixigua.com', // 頁面請求地址
 savePath: 'D:/videoZZ' // 存放路徑
}

技術點

puppeteer

官方API

puppeteer 提供一個高級 API 來控制 Chrome 或者 Chromium。

puppeteer 主要作用：

利用網(wǎng)頁生成 PDF、圖片

爬取SPA應用，并生成預渲染內(nèi)容（即“SSR” 服務端渲染）

可以從網(wǎng)站抓取內(nèi)容

自動化表單提交、UI測試、鍵盤輸入等

使用到的 API：

puppeteer.launch() 啟動瀏覽器實例

browser.newPage() 創(chuàng)建一個新頁面

page.goto() 進入指定網(wǎng)頁

page.screenshot() 截圖

page.waitFor() 頁面等待，可以是時間、某個元素、某個函數(shù)

page.$eval() 獲取一個指定元素，相當于 document.querySelector

page.$$eval() 獲取某類元素，相當于 document.querySelectorAll

page.$('#id .className') 獲取文檔中的某個元素，操作類似jQuery

代碼示例

const puppeteer = require('puppeteer');
 
(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://example.com');
 await page.screenshot({path: 'example.png'});
 
 await browser.close();
})();

視頻文件下載方法

下載視頻主方法

const downloadVideo = async video => {
 // 判斷視頻文件是否已經(jīng)下載
 if (!fs.existsSync(`${config.savePath}/${video.title}.mp4`)) {
 await getVideoData(video.src, 'binary').then(fileData => {
  console.log('下載視頻中：', video.title)
  savefileToPath(video.title, fileData).then(res =>
  console.log(`${res}: ${video.title}`)
  )
 })
 } else {
 console.log(`視頻文件已存在：${video.title}`)
 }
}

獲取視頻數(shù)據(jù)

getVideoData (url, encoding) {
 return new Promise((resolve, reject) => {
 let req = http.get(url, function (res) {
  let result = ''
  encoding && res.setEncoding(encoding)
  res.on('data', function (d) {
  result += d
  })
  res.on('end', function () {
  resolve(result)
  })
  res.on('error', function (e) {
  reject(e)
  })
 })
 req.end()
 })
}

將視頻數(shù)據(jù)保存到本地

savefileToPath (fileName, fileData) {
 let fileFullName = `${config.savePath}/${fileName}.mp4`
 return new Promise((resolve, reject) => {
 fs.writeFile(fileFullName, fileData, 'binary', function (err) {
  if (err) {
  console.log('savefileToPath error:', err)
  }
  resolve('已下載')
 })
 })
}

目標網(wǎng)站：西瓜視頻

項目功能：下載頭條號【維辰財經(jīng)】下的最新20個視頻

項目地址：Github 地址

您可能感興趣的文章: