Python爬蟲Scrapy框架IP代理的配置與調試

更新時間：2021年12月27日 10:45:51 作者：Python新世界

在調試爬蟲的時候，新手都會遇到關于ip的錯誤，本文就來介紹一下Python爬蟲Scrapy框架IP代理的配置與調試，具有一定的參考價值，感興趣的可以了解一下

在調試爬蟲的時候，新手都會遇到關于ip的錯誤，好好的程序突然報錯了，怎么解決，關于ip訪問的錯誤其實很好解決，但是怎么知道解決好了呢？怎么確定是代理ip的問題呢？由于筆者主修語言是Java，所以有些解釋可能和Python大佬們的解釋不一樣，因為我是從Java 的角度看Python。這樣也便于Java開發(fā)人員閱讀理解。

代理ip的邏輯在哪里

一個scrapy 的項目結構是這樣的

scrapydownloadertest  # 項目文件夾
    │  items.py       # 定義爬取結果存儲的數(shù)據(jù)結構
    │  middlewares.py  # 中間件（可以理解java的過濾器攔截器）
    │  pipelines.py   # 數(shù)據(jù)管道，對獲取到的數(shù)據(jù)做操作
    │  settings.py   # 項目的配置文件
    │  __init__.py   # 初始化邏輯
    │
    ├─spiders  # 放置 Spiders 的文件夾
    │  │  httpProxyIp.py   # 爬取到結果后的處理類
    │  │  __init__.py    # spider初始化邏輯
scrapy.py

從上可以發(fā)現(xiàn)，代理ip的設置肯定是在發(fā)送請求之前就要設置好，那么唯一符合條件的地方就是?middlewares.py?，所以關于代理的相關邏輯都寫在這個里面。直接在其中添加如下代碼：

# Scrapy 內置的 Downloader Middleware 為 Scrapy 供了基礎的功能，
# 定義一個類，其中（object）可以不寫，效果一樣
class SimpleProxyMiddleware(object):
    # 聲明一個數(shù)組
    proxyList = ['http://218.75.158.153:3128','http://188.226.141.61:8080']
    
    # Downloader Middleware的核心方法，只有實現(xiàn)了其中一個或多個方法才算自定義了一個Downloader Middleware
    def process_request(self, request, spider):
        # 隨機從其中選擇一個，并去除左右兩邊空格
        proxy = random.choice(self.proxyList).strip()
        # 打印結果出來觀察
        print("this is request ip:" + proxy)
        # 設置request的proxy屬性的內容為代理ip
        request.meta['proxy'] = proxy

    # Downloader Middleware的核心方法，只有實現(xiàn)了其中一個或多個方法才算自定義了一個Downloader Middleware
    def process_response(self, request, response, spider):
        # 請求失敗不等于200
        if response.status != 200:
            # 重新選擇一個代理ip
            proxy = random.choice(self.proxyList).strip()
            print("this is response ip:" + proxy)
            # 設置新的代理ip內容
            request.mete['proxy'] = proxy
            return request
        return response

每個 Downloader Middleware 定義了一個或多個方法的類，核心的方法有如下三個：

process_request(request, spider)
process_response(request，response, spider)
process_exception(request, exception, spider)

然后找到?setting.py?文件中的這塊區(qū)域

修改如下，也就是取消注釋，加上剛剛寫的Middleware 類的路徑

以上就已經(jīng)配置好了一個簡單的代理ip，此時來到?httpProxyIp.py?這個文件，這個文件是我通過命令?scrapy genspider httpProxyIp icanhazip.com?生成的，創(chuàng)建成功內容如下：

# -*- coding: utf-8 -*-
import scrapy

class HttpproxyipSpider(scrapy.Spider):
    name = 'httpProxyIp'
    allowed_domains = ['icanhazip.com']
    start_urls = ['http://icanhazip.com/']

    def parse(self, response):
        pass

我們修改一下，最終代碼如下所示：

# -*- coding: utf-8 -*-
import scrapy
from scrapy.cmdline import execute

class HttpproxyipSpider(scrapy.Spider):
    # spider 任務名
    name = 'httpProxyIp'
    # 允許訪問的域名
    allowed_domains = ['icanhazip.com']
    # 起始爬取的url
    start_urls = ['http://icanhazip.com/']

    # spider 爬蟲解析的方法，關于內容的解析都在這里完成; self表示實例的引用， response爬蟲的結果
    def parse(self, response):
        print('代理后的ip: ', response.text)

# 這個是main函數(shù)也是整個程序入口的慣用寫法
if __name__ == '__main__':
    execute(['scrapy', 'crawl', 'httpbin'])

此時運行程序?scrapy crawl httpProxyIp?可以看到結果輸出

很明顯，這里沒有打印出我們想要的結果，說明之前?proxyList = ['http://218.75.158.153:3128','http://188.226.141.61:8080']?沒有用，我們找找有沒有可以用的，這里用免費的，所以找起來費點時間?免費代理ip

這樣就完成了scrapy的代理設置和驗證調試。

如何配置動態(tài)的代理ip

這里使用的是收費的代理ip了，你可以使用快代理或者阿布云等云服務商提供的服務，當你注冊并繳費之后，會給你一個訪問url和用戶名密碼，這里直接看代碼吧！同樣在?middlewares.py新建一個類

修改?setting.py?的?DOWNLOADER_MIDDLEWARES?內容

DOWNLOADER_MIDDLEWARES = {
    # 注釋掉之前的例子改用AbuyunProxyMiddleware
    # 'scrapydownloadertest.middlewares.SimpleProxyMiddleware': 100,
    'scrapydownloadertest.middlewares.AbuyunProxyMiddleware': 100,
}

其他地方不動，我們在啟動看看，這里換種啟動方式，因為使用的是PyCharm開發(fā)工具，所以可以直接