快捷導(dǎo)航

Python抓包并解析json爬蟲的完整實例代碼

更新時間：2020年11月03日 10:44:52 作者：spl.與我常在(live)

這篇文章主要給大家介紹了關(guān)于Python抓包并解析json爬蟲的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧

Python抓包并解析json爬蟲

在使用Python爬蟲的時候，通過抓包url，打開url可能會遇見以下類似網(wǎng)址，打開后會出現(xiàn)類似這樣的界面，無法繼續(xù)進(jìn)行爬蟲：

例如：

需要爬取網(wǎng)頁中第二頁的數(shù)據(jù)時，點擊F12➡網(wǎng)絡(luò)(Network)➡XHR，最好點擊清除鍵，如下圖：

通過點擊“第二頁”，會出現(xiàn)一個POST請求（有時會是GET請求），點擊POST請求的url，（這里網(wǎng)址以POST請求為例），

如圖：

然后復(fù)制參數(shù)代碼

代碼展示：

import requests
import json

url = 'https://m.ctrip.com/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031130211378497389'

header={
'authority': 'm.ctrip.com',
'method': 'POST',
'path': '/restapi/soa2/13444/json/getCommentCollapseList?_fxpcqlniredt=09031130211378497389',
'scheme': 'https',
'accept': '*/*',
'accept-encoding': 'gzip, deflate, br',
'accept-language': 'zh-CN,zh;q=0.9',
'cache-control': 'no-cache',
'content-length': '278',
'content-type': 'application/json',
'cookie': '__utma=1.1986366783.1601607319.1601607319.1601607319.1; __utmz=1.1601607319.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); _RSG=blqD1d4mGX0BA_amPD3t29; _RDG=286710759c35f221c000cbec6169743cac; _RGUID=0850c049-c137-4be5-90b7-0cd67093f28b; MKT_CKID=1601607321903.rzptk.lbzh; _ga=GA1.2.1986366783.1601607319; nfes_isSupportWebP=1; appFloatCnt=8; _gcl_dc=GCL.1601638857.CKzg58XqlewCFQITvAodioIJWw; Session=SmartLinkCode=U155952&SmartLinkKeyWord=&SmartLinkQuary=&SmartLinkHost=&SmartLinkLanguage=zh; Union=OUID=index&AllianceID=4897&SID=155952&SourceID=&createtime=1602506741&Expires=1603111540922; MKT_OrderClick=ASID=4897155952&AID=4897&CSID=155952&OUID=index&CT=1602506740926&CURL=https%3A%2F%2Fwww.ctrip.com%2F%3Fsid%3D155952%26allianceid%3D4897%26ouid%3Dindex&VAL={"pc_vid":"1601607319353.3cid9z"}; MKT_Pagesource=PC; _RF1=218.58.59.72; _bfa=1.1601607319353.3cid9z.1.1602506738089.1602680023977.4.25; _bfi=p1%3D290510%26p2%3D290510%26v1%3D25%26v2%3D24; MKT_CKID_LMT=1602680029515; __zpspc=9.5.1602680029.1602680029.1%232%7Cwww.baidu.com%7C%7C%7C%25E6%2590%25BA%25E7%25A8%258B%7C%23; _gid=GA1.2.1363667416.1602680030; _jzqco=%7C%7C%7C%7C1602680029668%7C1.672451398.1601607321899.1602506755440.1602680029526.1602506755440.1602680029526.undefined.0.0.16.16',
'cookieorigin': 'https://you.ctrip.com',
'origin': 'https://you.ctrip.com',
'pragma': 'no-cache',
'referer': 'https://you.ctrip.com/',
'sec-fetch-dest': 'empty',
'sec-fetch-mode': 'cors',
'sec-fetch-site': 'same-site',
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36'
}

dat = {
 "arg": {
  'channelType': 2,
  'collapseType': 0,
  'commentTagId': 0,
  'pageIndex': 1,
  'pageSize': 10,
  'poiId': 75648,
  'sortType': 3,
  'sourceType': 1,
  'starType': 0
 },
 "head": {
  'auth': "",
  'cid': "09031117213661657011",
  'ctok': "",
  'cver': "1.0",
  'extension': [],
  'lang': "01",
  'sid': "8888",
  'syscode': "09",
  'xsid': ""
 }
}

r = requests.post(url, data=json.dumps(dat), headers=header)
s = r.json()
print(s)

運行結(jié)果：

然后右擊結(jié)果，再點擊Show as JSON：

最后就會出現(xiàn)目標(biāo)url的響應(yīng)信息，就可以進(jìn)行爬取了?。。?/p>

總結(jié)

到此這篇關(guān)于Python抓包并解析json爬蟲的文章就介紹到這了,更多相關(guān)Python抓包并解析json爬蟲內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

今天小編就為大家分享一篇python3實現(xiàn)zabbix告警推送釘釘?shù)氖纠?，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-02-02

python調(diào)試工具Birdseye的使用教程

調(diào)試是寫出良好代碼的必備條件，Birdseye是一款優(yōu)秀的用于python的調(diào)試工具，本文簡單的介紹了Birdseye的使用方法

2021-05-05

Python學(xué)習(xí)之集合的常用方法總結(jié)

集合并不是一種數(shù)據(jù)處理類型，而是一種中間類型。集合(set)是一個無序、不重復(fù)的元素序列，經(jīng)常被用來處理兩個列表進(jìn)行交并差的處理性。本文將詳細(xì)講解集合的一些常用方法，感興趣的可以了解一下

2022-03-03

Pytorch Conda環(huán)境下載慢換源/刪源/恢復(fù)默認(rèn)源的簡單操作

隨著實驗增多,需要分割創(chuàng)建環(huán)境的情況時有出現(xiàn),在此情況下使用conda create --name xx python=3.10 pytorch torchvision pytorch-cuda -c nvidia -c pytorch -y這樣的指令創(chuàng)建時如果不換源,往往下載速度很慢,本文介紹了解決辦法,需要的朋友可以參考下

2024-07-07