對(duì)python使用http、https代理的實(shí)例講解
在國(guó)內(nèi)利用Python從Internet上爬取數(shù)據(jù)時(shí)，有些網(wǎng)站或API接口被限速或屏蔽，這時(shí)使用代理可以加速爬取過(guò)程，減少請(qǐng)求失敗，Python程序使用代理的方法主要有以下幾種：
（1）如果是在代碼中使用一些網(wǎng)絡(luò)庫(kù)或爬蟲(chóng)框架進(jìn)行數(shù)據(jù)爬取，一般這種框架都會(huì)支持設(shè)置代理，例如：
<span style="font-size:14px;">import urllib.request as urlreq
# 設(shè)置https代理
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'})
oper = urlreq.build_opener(ph)
# 將代理安裝到全局環(huán)境，這樣所有請(qǐng)求都會(huì)自動(dòng)使用代理
urlreq.install_opener(oper)
res = oper.open("https://www.google.com")
print(res.read())</span>
<span style="font-size:14px;">import requests as req
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>
（2）如果使用的庫(kù)沒(méi)有提供設(shè)置代理的接口，但是底層使用了urllib、requests等庫(kù)，可以嘗試設(shè)置HTTP_PROXY 和HTTPS_PROXY環(huán)境變量，常用的網(wǎng)絡(luò)庫(kù)會(huì)自動(dòng)識(shí)別這些環(huán)境變量，使用變量設(shè)置的代理發(fā)起請(qǐng)求，設(shè)置如下：
import os os.environ['http_proxy'] = 'http://127.0.0.1:1080' os.environ['https_proxy'] = 'https://127.0.0.1:1080'
（3）如果上述兩種方法都沒(méi)有用，那么還可以使用一些可以監(jiān)聽(tīng)、攔截和修改網(wǎng)絡(luò)包的工具和庫(kù)如（Fiddler、mitmproxy）來(lái)攔截http請(qǐng)求包并修改地址，達(dá)到使用代理的效果。
以上這篇對(duì)python使用http、https代理的實(shí)例講解就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
- Python程序中設(shè)置HTTP代理
- 批量獲取及驗(yàn)證HTTP代理的Python腳本
- Python3.4實(shí)現(xiàn)從HTTP代理網(wǎng)站批量獲取代理并篩選的方法示例
- Python request設(shè)置HTTPS代理代碼解析
- Python代碼實(shí)現(xiàn)http/https代理服務(wù)器的腳本
- python爬蟲(chóng)http代理使用方法
- Python異步爬蟲(chóng)requests和aiohttp中代理IP的使用
- python使用aiohttp通過(guò)設(shè)置代理爬取基金數(shù)據(jù)簡(jiǎn)單示例
- 解決python異步框架aiohttp無(wú)法使用本地代理問(wèn)題
- python做http代理請(qǐng)求的項(xiàng)目實(shí)踐
相關(guān)文章
在python中將list分段并保存為array類(lèi)型的方法
今天小編就為大家分享一篇在python中將list分段并保存為array類(lèi)型的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
詳解Scrapy Redis入門(mén)實(shí)戰(zhàn)
這篇文章主要介紹了詳解Scrapy Redis入門(mén)實(shí)戰(zhàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
這篇文章主要介紹了np.where在多維數(shù)組的應(yīng)用方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
Python將多個(gè)list合并為1個(gè)list的方法
今天小編就為大家分享一篇Python將多個(gè)list合并為1個(gè)list的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
一個(gè)基于flask的web應(yīng)用誕生 flask和mysql相連（4）
一個(gè)基于flask的web應(yīng)用誕生第四篇，這篇文章主要介紹了如何讓flask和mysql進(jìn)行互聯(lián)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2017-04-04
這篇文章主要介紹了Python掃描IP段查看指定端口是否開(kāi)放的方法,涉及Python使用socket模塊實(shí)現(xiàn)端口掃描功能的相關(guān)技巧,需要的朋友可以參考下2015-06-06
詳解Python中__str__和__repr__方法的區(qū)別
這篇文章主要介紹了__str__和__repr__方法的區(qū)別 ,__str__和__repr__是基本的內(nèi)置方法,使用時(shí)的區(qū)別也是Python學(xué)習(xí)當(dāng)中的基礎(chǔ),需要的朋友可以參考下2015-04-04
SciPy是一個(gè)基于NumPy構(gòu)建的Python模塊,它集成了多種數(shù)學(xué)算法和函數(shù),這篇文章主要為大家詳細(xì)介紹了如何使用SciPy庫(kù)實(shí)現(xiàn)插值,需要的可以了解下2024-03-03
基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的古詩(shī)生成器
這篇文章主要為大家詳細(xì)介紹了基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)的古詩(shī)生成器，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-03-03
Python獲取當(dāng)前時(shí)間日期的實(shí)現(xiàn)示例
本文主要介紹了Python獲取當(dāng)前時(shí)間日期，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03