目前很多網(wǎng)站都使用ajax技術(shù)動(dòng)態(tài)加載數(shù)據(jù)，和常規(guī)的網(wǎng)站不一樣，數(shù)據(jù)時(shí)動(dòng)態(tài)加載的，如果我們使用常規(guī)的方法爬取網(wǎng)頁，得到的只是一堆html代碼，沒有任何的數(shù)據(jù)。

請(qǐng)看下面的代碼：

url = 'https://www.toutiao.com/search/?keyword=美女'
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}

response = requests.get(url,headers=headers)
print(response.text)

上面的代碼是爬取今日頭條的一個(gè)網(wǎng)頁，并打印出get方法返回的文本內(nèi)容如下圖所示，值現(xiàn)在一堆網(wǎng)頁代碼，并沒有相關(guān)的頭條新聞信息

內(nèi)容過多，只截取部分內(nèi)容，有興趣的朋友可以執(zhí)行上面的代碼看下效果。

對(duì)于使用ajax動(dòng)態(tài)加載數(shù)據(jù)的網(wǎng)頁要怎么爬取呢？我們先看下近日頭條是如何使用ajax加載數(shù)據(jù)的。通過chrome的開發(fā)者工具來看數(shù)據(jù)加載過程。

首先打開chrome瀏覽器，打開開發(fā)者工具，點(diǎn)擊Network選項(xiàng)，點(diǎn)擊XHR選項(xiàng)，然后輸入網(wǎng)址：https://www.toutiao.com/search/?keyword=美女  ，點(diǎn)擊Preview選項(xiàng)卡，就會(huì)看到通過ajax請(qǐng)求返回的數(shù)據(jù)，Name那一欄就是ajax請(qǐng)求，當(dāng)鼠標(biāo)向下滑動(dòng)時(shí)，就會(huì)出現(xiàn)多條ajax請(qǐng)求：

通過上圖我們知道ajax請(qǐng)求返回的是json數(shù)據(jù)，我們繼續(xù)分析ajax請(qǐng)求返回的json數(shù)據(jù)，點(diǎn)擊data展開數(shù)據(jù)，接著點(diǎn)擊0展開數(shù)據(jù)，發(fā)現(xiàn)有個(gè)title字段，內(nèi)容剛好和網(wǎng)頁的第一條數(shù)據(jù)匹配，可知這就是我們要爬取的數(shù)據(jù)。如下所示：

鼠標(biāo)向下滾動(dòng)到網(wǎng)頁底部時(shí)就會(huì)觸發(fā)一次ajax請(qǐng)求，下面是三次ajax請(qǐng)求：

https://www.toutiao.com/search_content/?offset=0&format=json&keyword=%E7%BE%8E%E5%A5%B3&autoload=true&count=20&cur_tab=1&from=search_tab&pd=synthesis
https://www.toutiao.com/search_content/?offset=20&format=json&keyword=%E7%BE%8E%E5%A5%B3&autoload=true&count=20&cur_tab=1&from=search_tab&pd=synthesis
https://www.toutiao.com/search_content/?offset=40&format=json&keyword=%E7%BE%8E%E5%A5%B3&autoload=true&count=20&cur_tab=1&from=search_tab&pd=synthesis

觀察每個(gè)ajax請(qǐng)求，發(fā)現(xiàn)每個(gè)ajax請(qǐng)求都有offset,format,keyword,autoload,count,cur_tab,from,pd參數(shù)，除了offset參數(shù)有變化之外，其他的都不變化。每次ajax請(qǐng)求offset的參數(shù)變化規(guī)律是0,20,40,60…，可以推測(cè)offset是偏移量，count參數(shù)是一次ajax請(qǐng)求返回?cái)?shù)據(jù)的條數(shù)。

為了防止爬蟲被封，每次請(qǐng)求時(shí)要把請(qǐng)求時(shí)都要傳遞請(qǐng)求頭信息，請(qǐng)求頭信息中包含了瀏覽器的信息，如果請(qǐng)求沒有瀏覽器信息，就認(rèn)為是網(wǎng)絡(luò)爬蟲，直接拒絕訪問。request header信息如下：

headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0",
"referer": "https://www.toutiao.com/search/?keyword=%E7%BE%8E%E5%A5%B3",
'x-requested-with': 'XMLHttpRequest'
}

完整代碼如下：

import requests
from urllib.parse import urlencode

def parse_ajax_web(offset):
  url = 'https://www.toutiao.com/search_content/?'
  #請(qǐng)求頭信息
  headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0",
    "referer": "https://www.toutiao.com/search/",
    'x-requested-with': 'XMLHttpRequest'
  }
  #每個(gè)ajax請(qǐng)求要傳遞的參數(shù)
  parm = {
    'offset': offset,
    'format': 'json',
    'keyword': '美女',
    'autoload': 'true',
    'count': 20,
    'cur_tab': 1,
    'from': 'search_tab',
    'pd': 'synthesis'
  }
  #構(gòu)造ajax請(qǐng)求url
  ajax_url = url + urlencode(parm)
  #調(diào)用ajax請(qǐng)求
  response = requests.get(ajax_url, headers=headers)
  #ajax請(qǐng)求返回的是json數(shù)據(jù)，通過調(diào)用json()方法得到j(luò)son數(shù)據(jù)
  json = response.json()
  data = json.get('data')
  for item in data:
    if item.get('title') is not None:
      print(item.get('title'))

def main():
  #調(diào)用ajax的次數(shù)，這里調(diào)用5次。
  for offset in (range(0,5)):
    parse_ajax_web(offset*20)

if __name__ == '__main__':
  main()

上面是爬取通過ajax請(qǐng)求加載數(shù)據(jù)網(wǎng)站的例子，如果想要其他的數(shù)據(jù)，可以動(dòng)手自己寫，這里只是搭了一個(gè)架子，各位可以嘗試將數(shù)據(jù)寫入到excel或者數(shù)據(jù)庫中。

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

最新評(píng)論