檢測python爬蟲時是否代理ip偽裝成功的方法
更新時間：2019年07月12日 08:29:46 作者：千鋒Python唐唐君
這篇文章主要介紹了檢測python爬蟲時是否代理ip偽裝成功的方法以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。,需要的朋友可以參考下
有時候我們的爬蟲程序添加了代理，但是我們不知道程序是否獲取到了ip，尤其是動態(tài)轉(zhuǎn)發(fā)模式的，這時候就需要進行檢測了，以下是一種代理是否偽裝成功的檢測方式，這里推介使用億牛云提供的代碼示例。
Python¶
requests
#! -*- encoding:utf-8 -*-
import requests
import random
# 要訪問的目標頁面
targetUrl = "http://httpbin.org/ip"
# 要訪問的目標HTTPS頁面
# targetUrl = "https://httpbin.org/ip"
# 代理服務(wù)器
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理隧道驗證信息
proxyUser = "16ZKBRLB"
proxyPass = "234076"
proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 設(shè)置 http和https訪問都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 設(shè)置IP切換頭
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
要檢測代理是否獲取到，直接在配置代理后訪http://httpbin.org/ip網(wǎng)站，獲取到ip后再訪問www.ip138.com就知道是否獲取到了ip。
相關(guān)文章
在處理和分析PDF文檔時,獲取文本和圖片在頁面上的精確位置是一個重要的操作,通過確定這些元素的具體坐標,我們可以實現(xiàn)對PDF內(nèi)容的更精細控制和理解,本文將介紹如何使用Python獲取PDF文本和圖片在頁面上的位置坐標,需要的朋友可以參考下2024-12-12
這篇文章主要介紹了python numpy實現(xiàn)文件存取的示例代碼，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-05-05
Matplotlib中刻度是用于在繪圖中表示數(shù)據(jù)大小的工具，通常以整數(shù)或小數(shù)表示，具體取決于坐標軸的類型和限制，下面就為大家介紹一下Matplotlib中刻度是具體設(shè)置與使用吧2023-07-07
這篇文章主要為大家介紹了Python 繼承,具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
本篇提供了pygame播放視頻的兩個方案，第一個方案是網(wǎng)上找的現(xiàn)成的，第二個方案則是參考了opencv（主流方案）自己逆向思維做的，還未經(jīng)過實際驗證，感興趣的朋友跟隨小編一起看看吧2023-11-11
今天小編就為大家分享一篇Python 使用type來定義類的實現(xiàn)，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-11-11
這篇文章主要給大家介紹了關(guān)于Python趣味入門教程之循環(huán)語句while的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-08-08
python pymysql peewee關(guān)于時區(qū)問題分析
這篇文章主要為大家介紹了python pymysql peewee關(guān)于時區(qū)問題分析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-06-06
map()函數(shù)是Python中的一個內(nèi)置函數(shù)，它的功能是將指定的函數(shù)，依次作用于可迭代對象的每個元素，并返回一個迭代器對象，這篇文章主要介紹了Python map函數(shù)()用法,需要的朋友可以參考下2023-07-07
本文對于PyTorch中的各種維度變換的函數(shù)進行總結(jié),包括reshape()、view()、resize_()、transpose()、permute()、squeeze()、unsqeeze()、expand()、repeat()函數(shù)的介紹和對比,感興趣的可以了解一下2024-02-02