python requests更換代理適用于IP頻率限制的方法
有些網(wǎng)址具有IP限制，比如同一個(gè)IP一天只能點(diǎn)贊一次。
解決方法就是更換代理IP。
從哪里獲得成千上萬(wàn)的IP呢? 百度“http代理” 可獲得一大堆網(wǎng)站。
比如某代理網(wǎng)站，1天6元，可以無(wú)限提取。
把提取的IP,保存到txt文件中。
寫(xiě)一個(gè)方法，讀取文件，存入數(shù)組中
def getProxysFromFile():
with open("proxy.txt", "r") as f:
l = f.readlines()
return l
比如執(zhí)行某任務(wù)，傳入單個(gè)代理IP+PORT
def run(proxy):
try:
print("proxy:{}".format(proxy))
s=requests.Session()
proxies={
"http": "http://{}".format(proxy.strip()), "https":"https://{}".format(proxy.strip())
}
header={
"Host":"www.xxx.com",
"Referer":"http://www.xxx.com/xxx.html?199",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36"
}
ret=s.get(url="http://www.xxx.com/data/dz?uid=199&ztype=1",headers=header,proxies=proxies,timeout=4)
rc=ret.content.decode("utf-8")
print(rc)
if "成功" in rc:
global count
count+=1
print(count)
except:
pass
接下來(lái)就是調(diào)度，簡(jiǎn)單寫(xiě)了個(gè)調(diào)度，比如每隔5秒鐘，啟動(dòng)100個(gè)線程去執(zhí)行。（這里為了簡(jiǎn)單，在上面的run中設(shè)置了超時(shí)時(shí)間為4秒，所以能保證不會(huì)導(dǎo)致啟動(dòng)的線程太多未完成卡死）
if __name__ == '__main__':
count=1
l=getProxysFromFile()
while True:
for i in range(100):
try:
t=threading.Thread(target=run,args=(l.pop(),))
t.start()
except:
pass
time.sleep(5)
效果如下，速度還是很快的。
以上這篇python requests更換代理適用于IP頻率限制的方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
python對(duì)日志進(jìn)行處理的實(shí)例代碼
本篇文章給大家分享了關(guān)于python處理日志的方法以及相關(guān)實(shí)例代碼，有興趣的朋友們學(xué)習(xí)下。2018-10-10
使用python把Excel中的數(shù)據(jù)在頁(yè)面中可視化
最近學(xué)習(xí)數(shù)據(jù)分析,感覺(jué)Python做數(shù)據(jù)分析真的好用,下面這篇文章主要給大家介紹了關(guān)于如何使用python把Excel中的數(shù)據(jù)在頁(yè)面中可視化的相關(guān)資料,需要的朋友可以參考下2022-03-03
大家好，本篇文章主要講的是python中的單向鏈表實(shí)現(xiàn)，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下2022-01-01
關(guān)于使用python對(duì)mongo多線程更新數(shù)據(jù)
這篇文章主要介紹了關(guān)于使用python對(duì)mongo多線程更新數(shù)據(jù),文中提供了詳細(xì)的代碼說(shuō)明,實(shí)際使用時(shí)，需要根據(jù)具體情況進(jìn)行調(diào)整和優(yōu)化,需要的朋友可以參考下2023-04-04
淺談python 調(diào)用open()打開(kāi)文件時(shí)路徑出錯(cuò)的原因
這篇文章主要介紹了淺談python 調(diào)用open()打開(kāi)文件時(shí)路徑出錯(cuò)的原因，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-06-06
退火算法就是鋼鐵在淬煉過(guò)程中失溫而成穩(wěn)定態(tài)時(shí)的過(guò)程，熱力學(xué)上溫度（內(nèi)能）越高原子態(tài)越不穩(wěn)定。這篇文章主要介紹了Python退火算法在高次方程的應(yīng)用,需要的朋友可以參考下2018-07-07
python中opencv支持向量機(jī)的實(shí)現(xiàn)
本文主要介紹了python中opencv支持向量機(jī)的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-03-03
python同義詞替換的實(shí)現(xiàn)（jieba分詞）
這篇文章主要介紹了python同義詞替換的實(shí)現(xiàn)（jieba分詞），文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-01-01
Python __setattr__、 __getattr__、 __delattr__、__call__用法示例
這篇文章主要介紹了Python __setattr__、 __getattr__、 __delattr__、__call__用法示例,本文分別對(duì)這幾個(gè)魔法方法做了講解,需要的朋友可以參考下2015-03-03
如何使用五行Python代碼輕松實(shí)現(xiàn)批量摳圖
簡(jiǎn)單來(lái)說(shuō),摳圖就是將照片的主體人或物品從圖片中摳出來(lái),以便貼到別處使用,下面這篇文章主要給大家介紹了關(guān)于如何使用五行Python代碼輕松實(shí)現(xiàn)批量摳圖的相關(guān)資料,文中通過(guò)示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-04-04