快捷導(dǎo)航

nodejs中sleep功能實(shí)現(xiàn)暫停幾秒的方法

更新時(shí)間：2017年07月12日 16:45:03 作者：意外金喜

本篇文章主要介紹了nodejs中sleep功能實(shí)現(xiàn)暫停幾秒的方法，具有一定的參考價(jià)值，有興趣的可以了解一下

我在網(wǎng)上了解了一下nodejs中sleep功能,搜索了很多關(guān)于nodejs中sleep功能介紹,下面我來(lái)記錄一下,有需要了解的朋友可參考。希望此文章對(duì)各位有所幫助。

一背景

在使用nodejs爬蟲(chóng)的時(shí)候,經(jīng)常會(huì)遇到別人的網(wǎng)站對(duì)頻率的反爬機(jī)制,這個(gè)時(shí)候如果不做處理程序就會(huì)掛掉,重新啟動(dòng)也會(huì)繼續(xù)被屏蔽.這個(gè)問(wèn)題怎么解決呢,我的想法就是程序暫停10分鐘或者更長(zhǎng)的時(shí)間,繼續(xù)爬取.

二方法

其實(shí)使用setTimeout就可以實(shí)現(xiàn),只是nodejs異步已經(jīng)很金字塔了,再加一層會(huì)更恐怖,所以本文使用nodejs的第三方模塊async來(lái)實(shí)現(xiàn),async的目的就是讓多個(gè)異步的程序,按照開(kāi)發(fā)者想要的順序來(lái)執(zhí)行,代碼書(shū)寫(xiě)符合同步風(fēng)格,其實(shí)運(yùn)行還是異步的,也解決了回調(diào)金字塔的問(wèn)題.

async基礎(chǔ)使用 :http://m.fzitv.net/article/118526.htm

三正常代碼

訪問(wèn)3個(gè)網(wǎng)站,百度,優(yōu)酷,騰訊為例.不暫停的代碼.

var async = require('async'); 
var http = require('http'); 
var task = []; 
task.push(function(callback){ 
 console.time('訪問(wèn)3個(gè)網(wǎng)站時(shí)間統(tǒng)計(jì)'); 
 http.get('http://www.baidu.com/', function(res) {  
  console.log("百度訪問(wèn)結(jié)果: " + res.statusCode);  
  callback(null); 
 }).on('error', function(e) {  
  console.log("百度訪問(wèn)結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.youku.com/', function(res) {  
  console.log("優(yōu)酷訪問(wèn)結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) { 
  console.log("優(yōu)酷訪問(wèn)結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.qq.com/', function(res) {  
  console.log("騰訊訪問(wèn)結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) {  
  console.log("騰訊訪問(wèn)結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
async.waterfall(task, function(err,result){ 
 console.timeEnd('訪問(wèn)3個(gè)網(wǎng)站時(shí)間統(tǒng)計(jì)'); 
 if(err) return console.log(err); 
 console.log('全部訪問(wèn)成功'); 
})

四測(cè)試

執(zhí)行訪問(wèn)網(wǎng)站需要時(shí)間,3個(gè)網(wǎng)站訪問(wèn)時(shí)間統(tǒng)計(jì)254ms.

五暫停代碼

比如,訪問(wèn)第一個(gè)網(wǎng)站后暫停5秒,訪問(wèn)第二個(gè)網(wǎng)站后暫停10秒.

var async = require('async'); 
var http = require('http'); 
var task = []; 
task.push(function(callback){ 
 console.time('訪問(wèn)3個(gè)網(wǎng)站時(shí)間統(tǒng)計(jì)'); 
 http.get('http://www.baidu.com/', function(res) {  
  console.log("百度訪問(wèn)結(jié)果: " + res.statusCode); 
  setTimeout(function() { 
   callback(null); 
  }, 5000); 
 }).on('error', function(e) {  
  console.log("百度訪問(wèn)結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.youku.com/', function(res) {  
  console.log("優(yōu)酷訪問(wèn)結(jié)果: " + res.statusCode); 
  setTimeout(function() { 
   callback(null); 
  }, 10000); 
 }).on('error', function(e) { 
  console.log("優(yōu)酷訪問(wèn)結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
task.push(function(callback){ 
 http.get('http://www.qq.com/', function(res) {  
  console.log("騰訊訪問(wèn)結(jié)果: " + res.statusCode); 
  callback(null); 
 }).on('error', function(e) {  
  console.log("騰訊訪問(wèn)結(jié)果: " + e.message); 
  callback(e); 
 }); 
}) 
 
async.waterfall(task, function(err,result){ 
 console.timeEnd('訪問(wèn)3個(gè)網(wǎng)站時(shí)間統(tǒng)計(jì)'); 
 if(err) return console.log(err); 
 console.log('全部訪問(wèn)成功'); 
})

六測(cè)試