execjs 使用

有了selenium+Chrome Headless 加載頁(yè)面為什么還要用execjs來(lái)運(yùn)行js？

selenium+Chrome Headless 必然是爬蟲的一大利器，可是缺點(diǎn)依然存在， 性能問(wèn)題不可忽視。

但這構(gòu)不成舍棄它而不用的理由。我認(rèn)為舍棄包括Chrome Headless、PhantomJS在內(nèi)的無(wú)頭瀏覽器的原因主要有以下幾點(diǎn)：

1. 頁(yè)面結(jié)構(gòu)改變、彈窗(一些網(wǎng)站的頁(yè)面結(jié)構(gòu)經(jīng)常無(wú)規(guī)則改變)， 影響代碼的健壯性。

2. 無(wú)頭瀏覽器的應(yīng)用場(chǎng)景主要是一些模擬登陸賬號(hào)密碼加密的場(chǎng)景， 爬蟲全程使用無(wú)頭瀏覽器， 影響性能和效率， 浪費(fèi)資源。

3. 通過(guò)js加密的網(wǎng)站， 可以看得到加密過(guò)程，可以拿得到加密源碼。

1. 安裝

pip install PyExecJS # 需要注意， 包的名稱：PyExecJS

2. 簡(jiǎn)單使用

import execjs
execjs.eval("new Date")

返回值為： 2018-04-04T12:53:17.759Z

execjs.eval("Date.now()")

返回值為：1522847001080 # 需要注意的是返回值是13位， 區(qū)別于python的time.time()

需要注意的是： 個(gè)別的JS語(yǔ)句， 用execjs返回的結(jié)果跟瀏覽器環(huán)境返回的結(jié)果是有區(qū)別的， 以下是瀏覽器環(huán)境返回的結(jié)果
瀏覽器環(huán)境運(yùn)行的結(jié)果

3. 調(diào)用函數(shù)

 # 實(shí)際生產(chǎn)中處理的js有幾百幾千行， 不方便貼上來(lái)。來(lái)看一下源碼中給的例子：
 ctx = execjs.compile("""
    function add(x, y) {
        return x + y;
      }
""")
 ctx.call("add", 1, 2) # 第一個(gè)參數(shù) “add” 為JS函數(shù)名的字符串， 后邊依次為實(shí)參
 返回值：3

execjs的用法非常簡(jiǎn)單， 下邊來(lái)看一下執(zhí)行JS的環(huán)境， 以及性能：

4. 執(zhí)行JS的環(huán)境

# 1. 在windows上不需要其他的依賴便可運(yùn)行execjs， 也可以調(diào)用其他的JS環(huán)境
  # windows 默認(rèn)的執(zhí)行JS的環(huán)境
    execjs.get().name
    返回值： JScript
  # 作者本人的windows上裝有Node.js ， 所以返回值不同
   execjs.get().name
   返回值： Node.js (V8)

#2. 在ubuntu下需要安裝執(zhí)行JS環(huán)境依賴, 作者的環(huán)境為PhantomJS
    execjs.get().name
    返回值： PhantomJS

#3. 源碼中給出， 可執(zhí)行execjs的環(huán)境：
 PyV8      = "PyV8"
 Node      = "Node"
 JavaScriptCore = "JavaScriptCore"
 SpiderMonkey  = "SpiderMonkey"
 JScript    = "JScript"
 PhantomJS   = "PhantomJS"
 SlimerJS    = "SlimerJS"
 Nashorn    = "Nashorn"

注1：作者之前在ubuntu環(huán)境下執(zhí)行execjs碰見過(guò)因?yàn)闆](méi)有環(huán)境而報(bào)錯(cuò)，因時(shí)間久遠(yuǎn)，無(wú)法肯定。 現(xiàn)在環(huán)境齊全， 報(bào)錯(cuò)無(wú)法復(fù)原，如有讀者出現(xiàn)錯(cuò)誤， 請(qǐng)留言， 多謝！

更新注1：經(jīng)過(guò)朋友老冀的指正(在此感謝)，在ubuntu環(huán)境下， 沒(méi)有JS環(huán)境會(huì)報(bào)錯(cuò):Could not find an available JavaScript runtime. 由此可見， execjs在ubuntu需要安裝JS環(huán)境 。具體的JS環(huán)境需根據(jù)具體的需求安裝， 切不可超過(guò)以上8種。

5.環(huán)境切換

  # 1. 通過(guò)os.environ
  os.environ["EXECJS_RUNTIME"] = "Node"
  execjs.get().name
  execjs.eval("1 + 2")
  # 2. 通過(guò)execjs.get 切換
   jscript = execjs.get(execjs.runtime_names.JScript) # runtime_names 便是execjs源碼中給出的執(zhí)行環(huán)境的。 execjs.runtime_names.xxx xxx必須在上一節(jié) #3中取
   jscript.eval("1 + 2")

注: 在切換環(huán)境時(shí)， 當(dāng)環(huán)境不存在不會(huì)報(bào)錯(cuò)， 會(huì)使用默認(rèn)的環(huán)境。 另外需要注意的是， 兩種方式的區(qū)別

6. 簡(jiǎn)易性能分析

 # 作者只簡(jiǎn)單試了三種， 在windows下
import execjs
import os
import time

# 先用JScript
os.environ["EXECJS_RUNTIME"] = "JScript"
print execjs.get().name

time1 = time.time()
for i in range(100):
  execjs.eval("new Date")
print time.time() - time1

# 切換環(huán)境 使用Nodejs
os.environ["EXECJS_RUNTIME"] = "Node"
print execjs.get().name

time2 = time.time()
for l in range(100):
  execjs.eval("new Date"）
print time.time() - time2

# 打印的結(jié)果為：
JScript
4.70900011063
Node.js (V8)
27.501999855

# 在ubuntu下試的是PhantoJS ， 結(jié)果竟然高達(dá) 30+ S

此注釋來(lái)自execjs作者：PyExecJS的缺點(diǎn)之一就是性能。PyExecJS通過(guò)文本傳遞JavaScript運(yùn)行時(shí)，并且速度很慢。另一個(gè)缺點(diǎn)是它不完全支持運(yùn)行時(shí)特定的功能。對(duì)于某些用例，PyV8可能是更好的選擇。

總注：使用execjs的難點(diǎn)并不是在execjs這個(gè)庫(kù)， 而是解析JS的過(guò)程， 因?yàn)闆](méi)有瀏覽器的環(huán)境， 沒(méi)有加密源碼的依賴。從成千上萬(wàn)行的JS中擇出想要的內(nèi)容，可能是一段孤零零的JS函數(shù)，也可能是從幾個(gè)JS文件去找出各自找出一段JS代碼， 并可以通過(guò)execjs順利執(zhí)行， 這并非易事。 需要慢慢積累經(jīng)驗(yàn)。 一旦掌握， 便可以提高爬蟲的效率， 以及代碼的健壯性， 節(jié)省資源！

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論