python爬蟲簡單的添加代理進(jìn)行訪問的實(shí)現(xiàn)代碼
在使用python對網(wǎng)頁進(jìn)行多次快速爬取的時(shí)候,訪問次數(shù)過于頻繁,服務(wù)器不會(huì)考慮User-Agent的信息,會(huì)直接把你視為爬蟲,從而過濾掉,拒絕你的訪問,在這種時(shí)候就需要設(shè)置代理,我們可以給proxies屬性設(shè)置一個(gè)代理的IP地址,代碼如下:
import requests
from lxml import etree
url = "https://www.ip.cn"
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 OPR/57.0.3098.116", }
pro = {
# 'https': 'https://118.122.92.252:37901', #四川省成都市 電信
'https': 'https://27.17.45.90:43411', #湖北省武漢市 電信
}
try:
response = requests.get(url, headers=headers, proxies=pro)
html_str = response.content.decode()
# print(html_str)
html = etree.HTML(html_str)
message = html.xpath("http://div[@class='well']//p/text()")
ip = html.xpath("http://div[@class='well']//p/code/text()")
eng = html.xpath("http://div[@class='well']/p/text()")
print(message[0]+ip[0])
print(message[1]+ip[1])
print(eng[2])
except requests.exceptions.ProxyError as e:
print("當(dāng)前代理異常")
except:
print("當(dāng)前請求異常")
在上面的代碼中,調(diào)用requests庫,對一個(gè)IP地址查詢網(wǎng)頁進(jìn)行訪問,隨后使用lxml庫的xpath對網(wǎng)頁進(jìn)行分析提取,返回用戶訪問此網(wǎng)頁時(shí)自己的IP地址,如果代理設(shè)置成功,則會(huì)返回你的信息和IP地址,如下:
如果代理失敗則會(huì)返回異常,在代碼中使用了捕獲異常,則會(huì)返回設(shè)置的提示信息,"當(dāng)前代理異常",如果不是代理的錯(cuò)誤則是"當(dāng)前請求異常"
PS:免費(fèi)的代理不是很穩(wěn)定,在確認(rèn)代碼無誤后,如果仍然返回異常,可嘗試更換代理IP...
總結(jié)
以上所述是小編給大家介紹的python爬蟲簡單的添加代理進(jìn)行訪問的實(shí)現(xiàn)代碼，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關(guān)文章
pytorch中permute()函數(shù)用法補(bǔ)充說明(矩陣維度變化過程)
這篇文章主要給大家介紹了關(guān)于pytorch中permute()函數(shù)用法補(bǔ)充說明的相關(guān)資料,本文詳細(xì)說明了permute函數(shù)里維度變化的詳細(xì)過程,需要的朋友可以參考下2022-04-04
解決pycharm修改代碼后第一次運(yùn)行不生效的問題
這篇文章主要介紹了解決pycharm修改代碼后第一次運(yùn)行不生效的問題，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-02-02
對python打亂數(shù)據(jù)集中X,y標(biāo)簽對的方法詳解
今天就為大家分享一篇對python打亂數(shù)據(jù)集中X,y標(biāo)簽對的方法詳解，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了Python Parser的用法,文中有非常詳細(xì)的代碼示例,對正在學(xué)習(xí)python的小伙伴們有很好地幫助,需要的朋友可以參考下2021-05-05
這篇文章主要介紹了python播放音頻的三種方法，每種方法通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了django框架使用方法詳解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-07-07
使用Python實(shí)現(xiàn)一個(gè)優(yōu)雅的異步定時(shí)器
在 Python 中實(shí)現(xiàn)定時(shí)器功能是一個(gè)常見需求,尤其是在需要周期性執(zhí)行任務(wù)的場景下,本文給大家介紹了基于 asyncio 和 threading 模塊,可擴(kuò)展的異步定時(shí)器實(shí)現(xiàn),需要的朋友可以參考下2025-04-04
深入淺析Python科學(xué)計(jì)算庫Scipy及安裝步驟
這篇文章主要介紹了Python科學(xué)計(jì)算庫—Scipy的相關(guān)知識(shí)，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-10-10
這篇文章主要介紹了django的ORM模型的實(shí)現(xiàn)原理，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-03-03
pyttsx3實(shí)現(xiàn)中文文字轉(zhuǎn)語音的方法
今天小編就為大家分享一篇pyttsx3實(shí)現(xiàn)中文文字轉(zhuǎn)語音的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12