selenium+python設(shè)置爬蟲(chóng)代理IP的方法
1. 背景
在使用selenium瀏覽器渲染技術(shù)，爬取網(wǎng)站信息時(shí)，一般來(lái)說(shuō)，速度是很慢的。而且一般需要用到這種技術(shù)爬取的網(wǎng)站，反爬技術(shù)都比較厲害，對(duì)IP的訪問(wèn)頻率應(yīng)該有相當(dāng)?shù)南拗?。所以，如果想提升selenium抓取數(shù)據(jù)的速度，可以從兩個(gè)方面出發(fā)：
第一，提高抓取頻率，出現(xiàn)驗(yàn)證信息時(shí)進(jìn)行破解，一般是驗(yàn)證碼或者用戶登錄。
第二，使用多線程 + 代理IP， 這種方式，需要電腦有足夠的內(nèi)存和充足穩(wěn)定的代理IP 。
2. 為chrome設(shè)置代理IP
from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()
# 設(shè)置代理
chromeOptions.add_argument("--proxy-server=http://202.20.16.82:10152")
# 一定要注意，=兩邊不能有空格，不能是這樣--proxy-server = http://202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)
# 查看本機(jī)ip，查看代理是否起作用
browser.get("http://httpbin.org/ip")
print(browser.page_source)
# 退出，清除瀏覽器緩存
browser.quit()
注意事項(xiàng)：
第一，代理IP最好是穩(wěn)定的固定IP，不要選動(dòng)態(tài)IP。我們常用的爬蟲(chóng)IP是高匿名動(dòng)態(tài)IP，是通過(guò)撥號(hào)動(dòng)態(tài)產(chǎn)生的，時(shí)效性很短，一般在1~3分鐘。對(duì)于scrapy這種并發(fā)度很高，又不需要登錄的爬蟲(chóng)來(lái)說(shuō)，非常合適，但是在瀏覽器渲染類爬蟲(chóng)中并不適用。
第二，代理IP的速度。因?yàn)閟elenium爬蟲(chóng)采用的是瀏覽器渲染技術(shù)，本身速度就很慢。如果選擇的代理IP速度較慢，就會(huì)大大增加爬取的時(shí)間。
第三，電腦內(nèi)存要夠大。因?yàn)閏hrome占內(nèi)存較大，在并發(fā)度很高的情況下，容易造成瀏覽器崩潰，也就是程序崩潰。
第四，在程序結(jié)束時(shí)，調(diào)用 browser.quit( ) 清除瀏覽器緩存。
3. 需要用戶名密碼驗(yàn)證的代理
參考文章：
Selenium chrome配置代理Python版：http://m.fzitv.net/article/151634.htm
GitHub：https://github.com/RobinDev/Selenium-Chrome-HTTP-Private-Proxy
以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)文本文件拆分寫(xiě)入到多個(gè)文本文件的方法
這篇文章主要介紹了Python實(shí)現(xiàn)文本文件拆分寫(xiě)入到多個(gè)文本文件的方法，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-04-04
讀取json數(shù)據(jù)實(shí)際上是把json格式變成python中字典、列表等格式化的數(shù)據(jù),極大地方便索引查找,下面這篇文章主要給大家介紹了關(guān)于Python如何處理JSON數(shù)據(jù)的相關(guān)資料,需要的朋友可以參考下2022-10-10
Python實(shí)現(xiàn)將xml導(dǎo)入至excel
本文給大家講解的是使用Python的Testlink實(shí)現(xiàn)將實(shí)現(xiàn)將xml導(dǎo)入至excel表格中，方法非常的簡(jiǎn)單，另外附上其他小伙伴的方法，有需要的童鞋們可以參考下。2015-11-11
python數(shù)據(jù)分析之單因素分析線性擬合及地理編碼
這篇文章主要介紹了python數(shù)據(jù)分析之單因素分析線性擬合及地理編碼，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-06-06
在Python中，日志是一種非常重要的工具，可以幫助我們更好地了解程序的運(yùn)行情況，本文將介紹如何使用logging模塊來(lái)打印炫酷的日志，需要的可以參考一下2023-06-06
python+matplotlib繪制餅圖散點(diǎn)圖實(shí)例代碼
這篇文章主要介紹了python+matplotlib繪制餅圖散點(diǎn)圖實(shí)例代碼，本實(shí)例是官網(wǎng)的一個(gè)實(shí)例，不過(guò)也很簡(jiǎn)單，大家可以參考下2018-01-01
python中關(guān)于decimal使用出現(xiàn)的一些問(wèn)題
這篇文章主要介紹了python中關(guān)于decimal使用出現(xiàn)的一些問(wèn)題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2023-11-11
在本篇文章里小編給大家分享了一篇關(guān)于Python截圖并保存的具體實(shí)例，對(duì)此有興趣的朋友們可以參考下。2021-01-01
給Word文檔設(shè)置打開(kāi)密碼是常見(jiàn)的Word文檔加密方式,如果我們需要對(duì)大量的Word文檔進(jìn)行加密、解密處理,Python是一個(gè)不錯(cuò)的選擇,本文將介紹如何使用Python設(shè)置、更改或移除Word文檔的加密,需要的朋友可以參考下2024-03-03
人工智能深度學(xué)習(xí)OpenAI?baselines的使用方法
這篇文章主要為大家介紹了人工智能深度學(xué)習(xí)OpenAI?baselines的使用方法，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-05-05