前言

眾所周知，jsonp 接口返回的是一段 js 腳本，在瀏覽器中使用 script 標(biāo)簽引入、加載成功后，會直接執(zhí)行其中的 callback 方法，以參數(shù)的形象直接返回真正有用的接口數(shù)據(jù)，以此達(dá)到跨域請求的目的。但是如果在非瀏覽器環(huán)境（node執(zhí)行環(huán)境）中怎么來抓取呢，本文就主要介紹一下，服務(wù)端nodejs抓取jsonp接口數(shù)據(jù) 的思路方法和踩過的坑。

出于好奇，最近在研究使用 node 程序分析股票的數(shù)據(jù)，看看能不能找到一些規(guī)律。
但前提是要獲取一批數(shù)據(jù)，所以查看了幾個相關(guān)的網(wǎng)站平臺，通過開發(fā)者工具的 network 查看，其中接口數(shù)據(jù)基本都是使用 jsonp 格式的。

溫馨提示： 不要過度頻繁爬取數(shù)據(jù)，可能涉及網(wǎng)絡(luò)安全問題。

方法思路

• 在 node 服務(wù)端使用 axios 獲取 jsonp 返回的內(nèi)容
• 使用 typeof 查看返回內(nèi)容的類型
• 解析 jsonp 返回的內(nèi)容、執(zhí)行其中的 callback 方法

關(guān)鍵在于這第三步，在 node 環(huán)境中如何動態(tài)的執(zhí)行這一段 String 類型的代碼。

Node環(huán)境動態(tài)執(zhí)行腳本

eval()

直接調(diào)用，使用本地作用域。

function test() {
  let x = 10, y = 20;
  let sum = eval('x + y')
  console.log(sum);  // 30
}

Function

與 eval 不同的是，Function 創(chuàng)建的函數(shù)只能在全局作用域中運(yùn)行。
test() 執(zhí)行會報(bào)錯：ReferenceError: x is not defined。

// 報(bào)錯
function test() {
  let x = 10, y = 20;
  let fn = new Function('return x + y')
  let sum = fn()
  console.log(sum) // ReferenceError: x is not defined
}
// 正常執(zhí)行
global.x = 10
global.y = 20
function test() {
  let fn = new Function('return x + y')
  let sum = fn()
  console.log(sum) // 30
}

vm.runInThisContext （推薦）

vm 是 node 的核心模塊，vm 可以使用 v8 的 Virtual Machine contexts 動態(tài)地編譯和執(zhí)行代碼，而代碼的執(zhí)行上下文與當(dāng)前進(jìn)程隔離。

被執(zhí)行的代碼無法獲取本地作用域，只能在當(dāng)前的 global 對象的上下文中編譯并執(zhí)行 code 。

const vm = require('vm')
global.x = 10
global.y = 20
function test() {
  let sum = vm.runInThisContext('x + y')
  console.log(sum) // 30
}

完整代碼實(shí)現(xiàn)

// index.js
const vm = require('vm')
const axios = require('axios')
// 在 global 對象上掛載對應(yīng)的 callback 方法
global.jQuery11230971606670044967_1649312313646 = function(res) {
  // jsonp 接口返回的數(shù)據(jù)
  console.log(res)
  // do something
}
async function getData() {
  let { data } = await axios({
    url: 'https://push2.eastmoney.com/api/qt/clist/get?cb=jQuery11230971606670044967_1649312313646&fid=f62&po=1&pz=10&pn=1&np=1&fltt=2&invt=2&fs=m%3A90+t%3A3&stat=1&fields=f12%2Cf14%2Cf2%2Cf3%2Cf62%2Cf184%2Cf66%2Cf69%2Cf72%2Cf75%2Cf78%2Cf81%2Cf84%2Cf87%2Cf204%2Cf205%2Cf124&ut=b2884a393a59ad64002292a3e90d46a5'
  })
  // 查看返回內(nèi)容的類型
  console.log(typeof data)
  // 執(zhí)行 callback
  vm.runInThisContext(data)
}
// 調(diào)用抓取數(shù)據(jù)的方法
getData()

特別提醒：瀏覽器環(huán)境與 Node 執(zhí)行環(huán)境掛載全局對象是有區(qū)別的。

在瀏覽器環(huán)境中，全局作用域可以使用 var 來聲明一個變量或方法，會自動掛載到 window 對象上；

但是在 Node 環(huán)境中，每個文件或者模塊，都會被封閉在一個單獨(dú)的作用域，因此不管在哪里聲明的變量，相對于當(dāng)前模塊或文件，都是在局部作用域，不會自動掛載到全局 global 對象中，如果要使用必須手動去掛載。

以上就是服務(wù)端nodejs抓取jsonp接口數(shù)據(jù)實(shí)現(xiàn)示例的詳細(xì)內(nèi)容，更多關(guān)于nodejs抓取jsonp接口數(shù)據(jù)的資料請關(guān)注腳本之家其它相關(guān)文章！

最新評論