快捷導(dǎo)航

Python爬蟲(chóng)實(shí)現(xiàn)搭建代理ip池

更新時(shí)間：2022年06月21日 17:06:15 作者：清＆輕

這篇文章主要介紹了Python爬蟲(chóng)實(shí)現(xiàn)搭建代理ip池，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下，希望對(duì)你的工作有所幫助

前言

在使用爬蟲(chóng)的時(shí)候，很多網(wǎng)站都有一定的反爬措施，甚至在爬取大量的數(shù)據(jù)或者頻繁地訪問(wèn)該網(wǎng)站多次時(shí)還可能面臨ip被禁，所以這個(gè)時(shí)候我們通常就可以找一些代理ip來(lái)繼續(xù)爬蟲(chóng)測(cè)試。

下面就開(kāi)始來(lái)簡(jiǎn)單地介紹一下爬取免費(fèi)的代理ip來(lái)搭建自己的代理ip池：本次爬取免費(fèi)ip代理的網(wǎng)址：http://www.ip3366.net/free/

提示：以下是本篇文章正文內(nèi)容，下面案例可供參考

一、User-Agent

在發(fā)送請(qǐng)求的時(shí)候，通常都會(huì)做一個(gè)簡(jiǎn)單的反爬。這時(shí)可以用fake_useragent模塊來(lái)設(shè)置一個(gè)請(qǐng)求頭，用來(lái)進(jìn)行偽裝成瀏覽器，下面兩種方法都可以。

from fake_useragent import UserAgent
headers = {
        # 'User-Agent': UserAgent().random #常見(jiàn)瀏覽器的請(qǐng)求頭偽裝（如：火狐,谷歌）
        'User-Agent': UserAgent().Chrome #谷歌瀏覽器
    }

在這里插入圖片描述

二、發(fā)送請(qǐng)求

response = requests.get(url='http://www.ip3366.net/free/', headers=request_header())
        # text = response.text.encode('ISO-8859-1')
        # print(text.decode('gbk'))

三、解析數(shù)據(jù)

我們只需要解析出ip、port即可。

在這里插入圖片描述

使用xpath解析（個(gè)人很喜歡用）（當(dāng)然還有很多的解析方法，如：正則，css選擇器，BeautifulSoup等等）。

	#使用xpath解析，提取出數(shù)據(jù)ip，端口
        html = etree.HTML(response.text)
        tr_list = html.xpath('/html/body/div[2]/div/div[2]/table/tbody/tr')
        for td in tr_list:
            ip_ = td.xpath('./td[1]/text()')[0] #ip
            port_ = td.xpath('./td[2]/text()')[0]  #端口
            proxy = ip_ + ':' + port_   #115.218.5.5:9000

四、構(gòu)建ip代理池，檢測(cè)ip是否可用

#構(gòu)建代理ip
	proxy = ip + ':' + port
	proxies = {
        "http": "http://" + proxy,
        "https": "http://" + proxy,
        # "http": proxy,
        # "https": proxy,
    }
    try:
        response = requests.get(url='https://www.baidu.com/',headers=request_header(),proxies=proxies,timeout=1) #設(shè)置timeout，使響應(yīng)等待1s
        response.close()
        if response.status_code == 200:
            print(proxy, '\033[31m可用\033[0m')
        else:
            print(proxy, '不可用')
    except:
        print(proxy,'請(qǐng)求異常')

五、完整代碼

import requests                         #導(dǎo)入模塊
from lxml import etree
from fake_useragent import UserAgent
#簡(jiǎn)單的反爬，設(shè)置一個(gè)請(qǐng)求頭來(lái)偽裝成瀏覽器
def request_header():
    headers = {
        # 'User-Agent': UserAgent().random #常見(jiàn)瀏覽器的請(qǐng)求頭偽裝（如：火狐,谷歌）
        'User-Agent': UserAgent().Chrome #谷歌瀏覽器
    }
    return headers
'''
創(chuàng)建兩個(gè)列表用來(lái)存放代理ip
'''
all_ip_list = []  #用于存放從網(wǎng)站上抓取到的ip
usable_ip_list = [] #用于存放通過(guò)檢測(cè)ip后是否可以使用

#發(fā)送請(qǐng)求，獲得響應(yīng)
def send_request():
    #爬取7頁(yè)，可自行修改
    for i in range(1,8): 
        print(f'正在抓取第{i}頁(yè)……')
        response = requests.get(url=f'http://www.ip3366.net/free/?page={i}', headers=request_header())
        text = response.text.encode('ISO-8859-1')
        # print(text.decode('gbk'))
        #使用xpath解析，提取出數(shù)據(jù)ip，端口
        html = etree.HTML(text)
        tr_list = html.xpath('/html/body/div[2]/div/div[2]/table/tbody/tr')
        for td in tr_list:
            ip_ = td.xpath('./td[1]/text()')[0] #ip
            port_ = td.xpath('./td[2]/text()')[0]  #端口
            proxy = ip_ + ':' + port_   #115.218.5.5:9000
            all_ip_list.append(proxy)
            test_ip(proxy)      #開(kāi)始檢測(cè)獲取到的ip是否可以使用
    print('抓取完成！')
    print(f'抓取到的ip個(gè)數(shù)為：{len(all_ip_list)}')
    print(f'可以使用的ip個(gè)數(shù)為：{len(usable_ip_list)}')
    print('分別有：\n', usable_ip_list)
#檢測(cè)ip是否可以使用
def test_ip(proxy):
    #構(gòu)建代理ip
    proxies = {
        "http": "http://" + proxy,
        "https": "http://" + proxy,
        # "http": proxy,
        # "https": proxy,
    }
    try:
        response = requests.get(url='https://www.baidu.com/',headers=request_header(),proxies=proxies,timeout=1) #設(shè)置timeout，使響應(yīng)等待1s
        response.close()
        if response.status_code == 200:
            usable_ip_list.append(proxy)
            print(proxy, '\033[31m可用\033[0m')
        else:
            print(proxy, '不可用')
    except:
        print(proxy,'請(qǐng)求異常')
if __name__ == '__main__':
    send_request()