快捷導航

用sleep間隔進行python反爬蟲的實例講解

更新時間：2020年11月30日 16:39:57 作者：小妮淺淺

在本篇文章里小編給大家整理了一篇關(guān)于用sleep間隔進行python反爬蟲的實例講解內(nèi)容，有需要的朋友們可以學習下。

在找尋材料的時候，會看到一些暫時用不到但是內(nèi)容不錯的網(wǎng)頁，就這樣關(guān)閉未免浪費掉了，下次也不一定能再次搜索到。有些小伙伴會提出可以保存網(wǎng)頁鏈接，但這種基本的做法并不能在網(wǎng)頁打不開后還能看到內(nèi)容。我們完全可以用爬蟲獲取這方面的數(shù)據(jù)，不過操作過程中會遇到一些阻攔，今天小編就教大家用sleep間隔進行python反爬蟲，這樣就可以得到我們想到的數(shù)據(jù)啦。

步驟

要利用headers拉動請求，模擬成瀏覽器去訪問網(wǎng)站，跳過最簡單的反爬蟲機制。

獲取網(wǎng)頁內(nèi)容，保存在一個字符串content中。

構(gòu)造正則表達式，從content中匹配關(guān)鍵詞pattern獲取下載鏈接。需要注意的是，網(wǎng)頁中的關(guān)鍵詞出現(xiàn)了兩遍（如下圖），所以我們要利用set()函數(shù)清除重復元素。

第三步是遍歷set之后的結(jié)果，下載鏈接。

設(shè)置time.sleep(t)，無sleep間隔的話，網(wǎng)站認定這種行為是攻擊，所以我們隔一段時間下載一個，反反爬蟲。

具體代碼

import urllib.request# url request
import re      # regular expression
import os      # dirs
import time
'''
url 下載網(wǎng)址
pattern 正則化的匹配關(guān)鍵詞
Directory 下載目錄
def BatchDownload(url,pattern,Directory):
   
  # 拉動請求，模擬成瀏覽器去訪問網(wǎng)站->跳過反爬蟲機制
  headers = {'User-Agent', 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'}
  opener = urllib.request.build_opener()
  opener.addheaders = [headers]
  # 獲取網(wǎng)頁內(nèi)容
  content = opener.open(url).read().decode('utf8')
  # 構(gòu)造正則表達式，從content中匹配關(guān)鍵詞pattern
  raw_hrefs = re.findall(pattern, content, 0)
  # set函數(shù)消除重復元素
  hset = set(raw_hrefs)
     
  # 下載鏈接
  for href in hset:
    # 之所以if else 是為了區(qū)別只有一個鏈接的特別情況
    if(len(hset)>1):
      link = url + href[0]
      filename = os.path.join(Directory, href[0])
      print("正在下載",filename)
      urllib.request.urlretrieve(link, filename)
      print("成功下載！")
    else:
      link = url +href
      filename = os.path.join(Directory, href)
       
    # 無sleep間隔，網(wǎng)站認定這種行為是攻擊，反反爬蟲
    time.sleep(1)
 
#BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/',
#       '(Storm-Data-Export-Format.docx)',
#       'E:\stormevents\csvfiles')
     
#       '(Storm-Data-Export-Format.pdf)',
#       '(StormEvents_details-ftp_v1.0_d(\d*)_c(\d*).csv.gz)',
#       '(StormEvents_fatalities-ftp_v1.0_d(\d*)_c(\d*).csv.gz)',
#       '(StormEvents_locations-ftp_v1.0_d(\d*)_c(\d*).csv.gz)',
#BatchDownload('https://www1.ncdc.noaa.gov/pub/data/swdi/stormevents/csvfiles/legacy/',
#       '(ugc_areas.csv)',
#       'E:\stormevents\csvfiles\legacy')