編寫spider

分析完頁面后，接下來編寫爬蟲。在Scrapy中編寫一個爬蟲， 在scrapy.Spider中編寫代碼Spider是用戶編寫用于從單個網(wǎng)站(或者-些網(wǎng)站)爬取數(shù)據(jù)的類。

其包含了-個用于下載的初始URL,如何跟進(jìn)網(wǎng)頁中的鏈接以及如何分析頁面中的內(nèi)容，提取生成item的方法。

為了創(chuàng)建一個Spider, 您必須繼承scrapy.Spider類，且定義以下三個屬性:

• name:用于區(qū)別Spider。該名字必須是唯一-的, 您不可以為不同的Spider設(shè)定相同的名字。
• start _urls:包含了Spider在啟動時進(jìn)行爬取的ur列表。因此， 第一個被獲取到的頁面將是其中之一。后續(xù)的URL則從初始的URL獲取到的數(shù)據(jù)中提取。
• parse():是spider的一一個方法。被調(diào)用時，每個初始URL完成下載后生成的Response對象將會作為唯一的參數(shù)傳遞給該函數(shù)。該方法負(fù)責(zé)解析返回的數(shù)據(jù)(response data),提取數(shù)據(jù)(生成item)以及生成需要進(jìn)一步處理的URL 的Request對象。

import scrapy
 
class QuoteSpi der(scrapy . Spider):
    name ='quote'
    allowed_ domains = [' quotes. com ']
    start_ urls = ['http://quotes . toscrape . com/']
    
    def parse(self， response) :
        pass

下面對quote的實(shí)現(xiàn)做簡單說明。

• scrapy.spider :爬蟲基類，每個其他的spider必須繼承自該類(包括Scrapy自帶的其他spider以及您自己編寫的spider)。
• name是爬蟲的名字，是在genspider的時候指定的。
• allowed_domains是爬蟲能抓取的域名，爬蟲只能在這個域名下抓取網(wǎng)頁，可以不寫。
• start_ur1s是Scrapy抓取的網(wǎng)站，是可迭代類型，當(dāng)然如果有多個網(wǎng)頁，列表中寫入多個網(wǎng)址即可，常用列表推導(dǎo)式的形式。
• parse稱為回調(diào)函數(shù)，該方法中的response就是start_urls 網(wǎng)址發(fā)出請求后得到的響應(yīng)。當(dāng)然也可以指定其他函數(shù)來接收響應(yīng)。一個頁面解析函數(shù)通常需要完成以下兩個任務(wù):
  

1.提取頁面中的數(shù)據(jù)(re、XPath、CSS選擇器)
2.提取頁面中的鏈接，并產(chǎn)生對鏈接頁面的下載請求。
頁面解析函數(shù)通常被實(shí)現(xiàn)成一個生成器函數(shù)，每一項(xiàng)從頁面中提取的數(shù)據(jù)以及每一個對鏈接頁面的下載請求都由yield語句提交給Scrapy引擎。

解析數(shù)據(jù)

import scrapy
 
def parse(se1f，response) :
    quotes = response.css('.quote ')
    for quote in quotes:
        text = quote.css( '.text: :text ' ).extract_first()
        auth = quote.css( '.author : :text ' ).extract_first()
        tages = quote.css('.tags a: :text' ).extract()
        yield dict(text=text，auth=auth，tages=tages)

重點(diǎn)：

• response.css(直接使用css語法即可提取響應(yīng)中的數(shù)據(jù)。
• start_ur1s 中可以寫多個網(wǎng)址，以列表格式分割開即可。
• extract()是提取css對象中的數(shù)據(jù)，提取出來以后是列表，否則是個對象。并且對于
• extract_first()是提取第一個

運(yùn)行爬蟲

在/quotes目錄下運(yùn)行scrapycrawlquotes即可運(yùn)行爬蟲項(xiàng)目。
運(yùn)行爬蟲之后發(fā)生了什么?

Scrapy為Spider的start_urls屬性中的每個URL創(chuàng)建了scrapy.Request對象，并將parse方法作為回調(diào)函數(shù)(callback)賦值給了Request。

Request對象經(jīng)過調(diào)度，執(zhí)行生成scrapy.http.Response對象并送回給spider parse()方法進(jìn)行處理。

完成代碼后，運(yùn)行爬蟲爬取數(shù)據(jù)，在shell中執(zhí)行scrapy crawl <SPIDER_NAME>命令運(yùn)行爬蟲'quote',并將爬取的數(shù)據(jù)存儲到csv文件中:

(base) λ scrapy craw1 quote -o quotes.csv
2021-06-19 20:48:44 [scrapy.utils.log] INF0: Scrapy 1.8.0 started (bot: quotes)

等待爬蟲運(yùn)行結(jié)束后，就會在當(dāng)前目錄下生成一個quotes.csv的文件，里面的數(shù)據(jù)已csv格式存放。

-o支持保存為多種格式。保存方式也非常簡單，只要給上文件的后綴名就可以了。(csv、json、pickle等)

到此這篇關(guān)于Python爬蟲基礎(chǔ)之初次使用scrapy爬蟲實(shí)例的文章就介紹到這了,更多相關(guān)Python scrapy框架內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！