python爬蟲框架scrapy代理中間件掌握學習教程

更新時間：2021年11月15日 10:10:16 作者：夢想橡皮擦

這篇文章主要介紹了python爬蟲框架scrapy代理中間件掌握學習教程，為大家說明一下 scrapy 中代理相關(guān)知識點，有需要的朋友可以借鑒參考下，希望能夠有所幫助

代理的使用場景

編寫爬蟲代碼的程序員，永遠繞不開就是使用代理，在編碼過程中，你會碰到如下情形：

網(wǎng)絡不好，需要代理；

目標站點國內(nèi)訪問不了，需要代理；

網(wǎng)站封殺了你的 IP，需要代理。

使用 HttpProxyMiddleware 中間件

本次的測試站點依舊使用 http://httpbin.org/，通過訪問 http://httpbin.org/ip 可以獲取當前請求的 IP 地址。
HttpProxyMiddleware 中間件默認是開啟的，可以查看其源碼重點為 process_request() 方法。

python scrapy 代理中間件，爬蟲必掌握的內(nèi)容之一

修改代理的方式非常簡單，只需要在 Requests 請求創(chuàng)建的時候，增加 meta 參數(shù)即可。

import scrapy
class PtSpider(scrapy.Spider):
    name = 'pt'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/ip']

    def start_requests(self):
        yield scrapy.Request(url=self.start_urls[0], meta={'proxy': 'http://202.5.116.49:8080'})
    def parse(self, response):
        print(response.text)

接下來通過獲取一下 https://www.kuaidaili.com/free/ 網(wǎng)站的代理 IP，并測試其代理是否可用。

import scrapy
class PtSpider(scrapy.Spider):
    name = 'pt'
    allowed_domains = ['httpbin.org', 'kuaidaili.com']
    start_urls = ['https://www.kuaidaili.com/free/']

    def parse(self, response):
        IP = response.xpath('//td[@data-title="IP"]/text()').getall()
        PORT = response.xpath('//td[@data-title="PORT"]/text()').getall()
        url = 'http://httpbin.org/ip'
        for ip, port in zip(IP, PORT):
            proxy = f"http://{ip}:{port}"
            meta = {
                'proxy': proxy,
                'dont_retry': True,
                'download_timeout': 10,
            }
            yield scrapy.Request(url=url, callback=self.check_proxy, meta=meta, dont_filter=True)
    def check_proxy(self, response):
        print(response.text)

接下來將可用的代理 IP 保存到 JSON 文件中。

import scrapy
class PtSpider(scrapy.Spider):
    name = 'pt'
    allowed_domains = ['httpbin.org', 'kuaidaili.com']
    start_urls = ['https://www.kuaidaili.com/free/']
    def parse(self, response):
        IP = response.xpath('//td[@data-title="IP"]/text()').getall()
        PORT = response.xpath('//td[@data-title="PORT"]/text()').getall()
        url = 'http://httpbin.org/ip'
        for ip, port in zip(IP, PORT):
            proxy = f"http://{ip}:{port}"
            meta = {
                'proxy': proxy,
                'dont_retry': True,
                'download_timeout': 10,
                '_proxy': proxy
            }
            yield scrapy.Request(url=url, callback=self.check_proxy, meta=meta, dont_filter=True)
    def check_proxy(self, response):
        proxy_ip = response.json()['origin']
        if proxy_ip is not None:
            yield {
                'proxy': response.meta['_proxy']
            }

同時修改 start_requests 方法，獲取 10 頁代理。

class PtSpider(scrapy.Spider):
    name = 'pt'
    allowed_domains = ['httpbin.org', 'kuaidaili.com']
    url_format = 'https://www.kuaidaili.com/free/inha/{}/'
    def start_requests(self):
        for page in range(1, 11):
            yield scrapy.Request(url=self.url_format.format(page))

實現(xiàn)一個自定義的代理中間件也比較容易，有兩種辦法，第一種繼承 HttpProxyMiddleware，編寫如下代碼：

from scrapy.downloadermiddlewares.httpproxy import HttpProxyMiddleware
from collections import defaultdict
import random
class RandomProxyMiddleware(HttpProxyMiddleware):
    def __init__(self, auth_encoding='latin-1'):
        self.auth_encoding = auth_encoding

        self.proxies = defaultdict(list)
        with open('./proxy.csv') as f:
            proxy_list = f.readlines()
            for proxy in proxy_list:
                scheme = 'http'
                url = proxy.strip()
                self.proxies[scheme].append(self._get_proxy(url, scheme))
    def _set_proxy(self, request, scheme):
        creds, proxy = random.choice(self.proxies[scheme])
        request.meta['proxy'] = proxy
        if creds:
            request.headers['Proxy-Authorization'] = b'Basic ' + creds

代碼核心重寫了 __init__ 構(gòu)造方法，并重寫了 _set_proxy 方法，在其中實現(xiàn)了隨機代理獲取。
同步修改 settings.py 文件中的代碼。

DOWNLOADER_MIDDLEWARES = {
   'proxy_text.middlewares.RandomProxyMiddleware': 543,
}

創(chuàng)建一個新的代理中間件類

class NRandomProxyMiddleware(object):
    def __init__(self, settings):
        # 從settings中讀取代理配置 PROXIES
        self.proxies = settings.getlist("PROXIES")
    def process_request(self, request, spider):
        request.meta["proxy"] = random.choice(self.proxies)
    @classmethod
    def from_crawler(cls, crawler):
        if not crawler.settings.getbool("HTTPPROXY_ENABLED"):
            raise NotConfigured
        return cls(crawler.settings)

可以看到該類從 settings.py 文件中的 PROXIES 讀取配置，所以修改對應配置如下所示：

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
    'proxy_text.middlewares.NRandomProxyMiddleware': 543,
}
# 代碼是前文代碼采集的結(jié)果
PROXIES = ['http://140.249.48.241:6969',
           'http://47.96.16.149:80',
           'http://140.249.48.241:6969',
           'http://47.100.14.22:9006',
           'http://47.100.14.22:9006']

如果你想測試爬蟲，可編寫一個隨機返回請求代理的函數(shù)，將其用到任意爬蟲代碼之上，完成本博客任務。

以上就是python爬蟲框架scrapy代理中間件掌握學習教程的詳細內(nèi)容，更多關(guān)于scrapy框架代理中間件學習的資料請關(guān)注腳本之家其它相關(guān)文章！

您可能感興趣的文章: