一、概述

在后期滲透測試中，經(jīng)常會遇到需要向第三方發(fā)送http請求的場景，python中的requests庫可以很好的滿足這一要求，Requests模塊是一個用于網(wǎng)絡請求的模塊，主要用來模擬瀏覽器發(fā)請求。其實類似的模塊有很多，比如urllib，urllib2，httplib，httplib2，他們基本都提供相似的功能。但是這些模塊都復雜而且差不多過時了，requests模塊簡單強大高效，使得其在眾多網(wǎng)絡請求模塊中脫引而出。

二、安裝和基本步驟使用

環(huán)境安裝：pip install requests

基本步驟：.

1.導入模塊:import requests
2.指定url:url = "........"
3.基于requests模塊發(fā)送請求:res = requests.get(url)
4.獲取響應對象中的數(shù)據(jù)值:print(res.'...')
5.持久化存儲（不是必須的）

三、http知識復習

（一）八種請求方式：GET、 POST、 HEAD、OPTIONS、 PUT、 DELETE、 TRACE、 CONNECT。

這里我只詳細介紹get和post：

1.GET

用于獲取資源，當采用 GET 方式請求指定資源時， 被訪問的資源經(jīng)服務器解析后立即返回響應內容。通常以 GET 方式請求特定資源時， 請求中不應該包含請求體，所有需要向被請求資源傳遞的數(shù)據(jù)都應該通過 URL 向服務器傳遞。

2. POST

POST 動作：用于提交數(shù)據(jù)， 當采用 POST 方式向指定位置提交數(shù)據(jù)時，數(shù)據(jù)被包含在請求體中，服務器接收到這些數(shù)據(jù)后可能會建立新的資源、也可能會更新已有的資源。同時 POST 方式的請求體可以包含非常多的數(shù)據(jù)，而且格式不限。因此 POST 方式用途較為廣泛，幾乎所有的提交操作都可以使用 POST 方式來完成。

注：雖然用 GET 方式也可以提交數(shù)據(jù)，但一般不用 GET 方式而是用 POST 方式。在 HTTP協(xié)議中，建議 GET 方式只用來獲取數(shù)據(jù)，而 POST 方式則用來提交數(shù)據(jù)(而不是獲取數(shù)據(jù))。

get方式和post方式區(qū)別：

    簡單來說，本質上區(qū)別：
    - GET產生 一個 TCP數(shù)據(jù)包
    - POST產生 兩個 TCP數(shù)據(jù)包
    對于GET方式的請求，瀏覽器會把http header和data一并發(fā)送出去，服務器響應200（返回數(shù)據(jù)）；
    而對于POST，瀏覽器先發(fā)送header，服務器響應100 continue，瀏覽器再發(fā)送data，服務器響應200 ok（返回數(shù)據(jù)）。

（二）http常見請求參數(shù)

    url：請求url地址
    headers：請求頭
    data：發(fā)送編碼為表單形式的數(shù)據(jù)
    params：查詢字符串
    host：請求web服務器的域名地址
    User-Agent：HTTP客戶端運行的瀏覽器類型的詳細信息。通過該頭部信息，web服務器可以判斷到當前HTTP請求的客戶端瀏覽器類別。
    Accept：指定客戶端能夠接收的內容類型，內容類型中的先后次序表示客戶端接收的先后次序。
    Accept-Encoding：指定客戶端瀏覽器可以支持的web服務器返回內容壓縮編碼類型。
    Accept-Language:指定HTTP客戶端瀏覽器用來展示返回信息所優(yōu)先選擇的語言
    Connection:表示是否需要持久連接。如果web服務器端看到這里的值為“Keep-Alive”，或者看到請求使用的是HTTP 1.1（HTTP 1.1默認進行持久連接），表示連接持久有效，是不會斷開的
    cookie：HTTP請求發(fā)送時，會把保存在該請求域名下的所有cookie值一起發(fā)送給web服務器。
    Refer：包含一個URL，用戶從該URL代表的頁面出發(fā)訪問當前請求的頁面

四、request請求模塊的方法使用

舉例說明：爬取我個人網(wǎng)站的數(shù)據(jù)

import requests  #導入request模塊
    url = "http://42.192.212.170/"  #指定url為我個人的網(wǎng)站
    r = requests.get(url)  #基于request模塊給我個人url網(wǎng)站發(fā)送請求
    print (r.url)      #獲取響應包地址
    print (r.status_code) #獲取響應包的狀態(tài)碼
    print (r.headers)  #獲取響應包的頭部信息
    print (len(r.text))  #獲取以文本形式下響應包的長度
    print (r.encoding) #獲取網(wǎng)頁編碼方式
    print (r.cookies)  #獲取響應包的cookie值
    print (r.content)  #以字節(jié)形式返回響應體，會自動解碼成gzip和deflate壓縮

輸出結果：

當然也可以用下面幾種請求方法：

    1.requests.post(“http://httpbin.org/post”)                                        # POST請求
    2.requests.put(“http://httpbin.org/put”)                                          # PUT請求
    3.requests.delete(“http://httpbin.org/delete”)                                    # DELETE請求
    4.requests.head(“http://httpbin.org/get”)                                         # HEAD請求
    5.requests.options(“http://httpbin.org/get” )                                     # OPTIONS請求

requests響應參數(shù)說明：

    r.encoding                       #獲取當前的編碼
    r.encoding = 'utf-8'             #設置編碼
    r.text                           #以encoding解析返回內容。字符串方式的響應體，會自動根據(jù)響應頭部的字符編碼進行解碼。
    r.content                        #以字節(jié)形式（二進制）返回。字節(jié)方式的響應體，會自動為你解碼 gzip 和 deflate 壓縮。
    r.headers                        #以字典對象存儲服務器響應頭，但是這個字典比較特殊，字典鍵不區(qū)分大小寫，若鍵不存在則返回
    r.status_code                     #響應狀態(tài)碼

五，params和payload參數(shù)使用說明

舉例說明：

    import requests  #導入request模塊
    r1 = requests.get("http://42.192.212.170/",params={'s':'1'} )   #params字符串傳參變量s為1
    print (r1.url)
    payload1 = {'s':'1'} #設置payload參變量s為1
    r2 = requests.get("http://42.192.212.170/",params=payload1) #將params設為payload1
    print (r2.url)
    payload2 = {'key1':"value1",'key2':'value2'} #設置payload參變量key1為value1并且變量key2為value2
    r3 = requests.get("http://42.192.212.170/",params=payload2) #params設為payload2
    print (r3.url)

輸出結果：

總結

到此這篇關于python爬蟲之request模塊的文章就介紹到這了,更多相關python爬蟲之request模塊內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

最新評論